Господа.
Joomla 1.5.х
Кратко не получится, а потому извиняюсь, да и возможно у вас случится такая-же ситуация
Откуда "ноги растут":
Сидел на хосте 2 года и радовался - все хорошо, - и скорость и траф и ТП шустрая и т.д.
А, в ноябре прошлого года начался ужас с ссылками в сапе - каждый день эрроры и в приличных кол-вах. Начал вести переговоры с ТП хоста - вроде сначала решили проблему, но после НГ они мне объявили, что "жить так больше" со мной не могут, потому что мои аккаунты фактически разогревают до кипятка сервер и поставили мне ограничение при привышении трафа, особенно превосходящего, когда робот сапы идет по сайтам. Я конечно расстроился и начал спорить ( судя по логам и времени захода сапобота), что ну никак такого быть не может. Ну спорить с ними было тяжко, так как они по ту сторону баррикады и они полюбому правы.
Короче печалился я месяц и смотрел как люди отказываются от ссылок которые в эрроре валяются ( кому такие нужны) и решил, что коли их сервер не может ( а точнее не хочет - оверлок рулит), то наверное VPS должен потянуть. Пошел на рег.ру ( ну просто у меня там доменов полно и т.д. - что бы отмести вопросы почему) арендовал не самый хилый VPS 2х2000 и 2000 оперативы, думая, что для 20 сайтов ( суммарный траф не большой ) выдержит и будет все ОК.
За ночь - Перенес, запустил, dns поменял - сначала проверил, вроде все хорошо и спать пошел.
Когда зашел, точнее попытался - сервер лежит, сайты лежат - короче полный ...
Пишу в ТП рег - беда, они в ответ - У вас превышение ( ну очень сильное ) трафика на 2 сайтах - мы их временно отключили и перезагрузили сервер с физического ( я кстати даже не мог, а точнее он не мог перезагрузится из акка в рег) и сейчас должно все работать, но ищите проблему .
Дают логи такого типа ( ну только это я скопировал сейчас, когда немного укротил стихию, а там были запросы каждую секунду):
151.248.117.105 - - [18/Feb/2013:21:07:47 +0400] "GET /novosti/zarubezhnaya-armiya-i-flot.html HTTP/1.0" 200 0 "
http://drakankc.ru/novosti/zarubezhnaya-armiya-i-flot.html" "SimplePie/1.0.1 (Feed Parser;
http://simplepie.org/; Allow like Gecko) Build/20070719221955"
151.248.117.105 - - [18/Feb/2013:21:08:03 +0400] "GET /novosti/zarubezhnaya-politika.html HTTP/1.0" 200 0 "
http://drakankc.ru/novosti/zarubezhnaya-politika.html" "SimplePie/1.0.1 (Feed Parser;
http://simplepie.org/; Allow like Gecko) Build/20070719221955"
151.248.117.105 - - [18/Feb/2013:21:10:12 +0400] "GET /novosti/rossijskaya-politika.html HTTP/1.0" 200 0 "
http://drakankc.ru/novosti/rossijskaya-politika.html" "SimplePie/1.0.1 (Feed Parser;
http://simplepie.org/; Allow like Gecko) Build/20070719221955"
Попытаться что-то отыскать не получилось, так как сервер лег опять через 3 минуты.
Тут можно вкратце я им писал, звонил, умолял и не понимал что делать. В атаку не верилось потому, что сайты не достойны такой операции даже ради баловства.
В итоге после 10 часов "что делать" мне остановили апач и я вырубил все сайты.
Только запускаю любой - сразу в логах начинается каша.
В основном обращения шли или на RSS ленты или в разделы новостей ( наверное учитывается транслит и анг. названия)
Отрубил все ленты новостей на сайтах. Стало полегче, но обращения хоть раз в час, но бывают - не критически 10-20 запросов, но все же получается "гадость" эта работает.
Сейчас уже кто-то думает - решение простое забанить по IP адрес или вообще подсеть или еще чего можно было изначально.
Прикол заключается в том, что ip-адрес, который вы наблюдаете в логе - это адрес родного сервера.
То есть это не из вне парсится материал, а изнутри сайта, ну или каким-то чудесным способом эта фигня умудряется при запросе превращаться в свояка""
Начал копать и обнаружил, что в установленной версии ( точнее во всех версиях от 1 дл 2.х ( 3 не смотрел)) стоит библиотека в папочке /libraries/simplepie - сходство с логами уже улавливаете?
По все вероятности используется эта библиотека для создания запросов.
Попытался взять чистый дистрибутив библиотеки - удалил - залил - результата 0.
Единственное спасение в данный момент - это сидеть с отрубленными лентами новостей - запросов в сотни раз меньше, но все равно есть. Обнулял и удалял папку - сайт соответственно ложится.
Есть по этому поводу какие-нибудь предположения? Может кто сталкивался. Как с этим бороться...
31.03.2018, 20:42:39