0 Пользователей и 1 Гость просматривают эту тему.
  • 11 Ответов
  • 4478 Просмотров
*

Sanchesko

  • Захожу иногда
  • 104
  • 13 / 0
Господа.
Joomla 1.5.х
Кратко не получится, а потому извиняюсь, да и возможно у вас случится такая-же ситуация
Откуда "ноги растут":
Сидел на хосте 2 года и радовался - все хорошо, - и скорость и траф и ТП шустрая и т.д.
А, в ноябре прошлого года начался ужас с ссылками в сапе - каждый день эрроры и в приличных кол-вах. Начал вести переговоры с ТП хоста - вроде сначала решили проблему, но после НГ они мне объявили, что "жить так больше" со мной не могут, потому что мои аккаунты фактически разогревают до кипятка сервер и поставили мне ограничение при привышении трафа, особенно превосходящего, когда робот сапы идет по сайтам. Я конечно расстроился и начал спорить ( судя по логам и времени захода сапобота), что ну никак такого быть не может. Ну спорить с ними было тяжко, так как они по ту сторону баррикады и они полюбому правы.
Короче печалился я месяц и смотрел как люди отказываются от ссылок которые в эрроре валяются ( кому такие нужны) и решил, что коли их сервер не может ( а точнее не хочет - оверлок рулит), то наверное VPS должен потянуть. Пошел на рег.ру ( ну просто у меня там доменов полно и т.д. - что бы отмести вопросы почему) арендовал не самый хилый VPS 2х2000 и 2000 оперативы, думая, что для 20 сайтов ( суммарный траф не большой ) выдержит и будет все ОК.

За ночь - Перенес, запустил, dns поменял - сначала проверил, вроде все хорошо и спать пошел.
Когда зашел, точнее попытался - сервер лежит, сайты лежат - короче полный ...
Пишу в ТП рег - беда, они в ответ - У вас превышение ( ну очень сильное ) трафика на 2 сайтах - мы их временно отключили и перезагрузили сервер с физического ( я кстати даже не мог, а точнее он не мог перезагрузится из акка в рег) и сейчас должно все работать, но ищите проблему .
Дают логи такого типа ( ну только это я скопировал сейчас, когда немного укротил стихию, а там были запросы каждую секунду):

151.248.117.105 - - [18/Feb/2013:21:07:47 +0400] "GET /novosti/zarubezhnaya-armiya-i-flot.html HTTP/1.0" 200 0 "http://drakankc.ru/novosti/zarubezhnaya-armiya-i-flot.html" "SimplePie/1.0.1 (Feed Parser; http://simplepie.org/; Allow like Gecko) Build/20070719221955"
151.248.117.105 - - [18/Feb/2013:21:08:03 +0400] "GET /novosti/zarubezhnaya-politika.html HTTP/1.0" 200 0 "http://drakankc.ru/novosti/zarubezhnaya-politika.html" "SimplePie/1.0.1 (Feed Parser; http://simplepie.org/; Allow like Gecko) Build/20070719221955"
151.248.117.105 - - [18/Feb/2013:21:10:12 +0400] "GET /novosti/rossijskaya-politika.html HTTP/1.0" 200 0 "http://drakankc.ru/novosti/rossijskaya-politika.html" "SimplePie/1.0.1 (Feed Parser; http://simplepie.org/; Allow like Gecko) Build/20070719221955"

Попытаться что-то отыскать не получилось, так как сервер лег опять через 3 минуты.
Тут можно вкратце я им писал, звонил, умолял и не понимал что делать. В атаку не верилось потому, что сайты не достойны такой операции даже ради баловства.
В итоге после 10 часов "что делать" мне остановили апач и я вырубил все сайты.
Только запускаю любой - сразу в логах начинается каша.
В основном обращения шли или на RSS ленты или в разделы новостей ( наверное учитывается транслит и анг. названия)
Отрубил все ленты новостей на сайтах. Стало полегче, но обращения хоть раз в час, но бывают - не критически 10-20 запросов, но все же получается "гадость" эта работает.
Сейчас уже кто-то думает - решение простое забанить по IP адрес или вообще подсеть или еще чего можно было изначально.
Прикол заключается в том, что ip-адрес, который вы наблюдаете в логе - это адрес родного сервера.
То есть это не из вне парсится материал, а изнутри сайта, ну или каким-то чудесным способом эта фигня умудряется при запросе превращаться в свояка""
Начал копать и обнаружил, что в установленной версии ( точнее во всех версиях от 1 дл 2.х ( 3 не смотрел)) стоит библиотека в папочке /libraries/simplepie - сходство с логами уже улавливаете?
По все вероятности используется эта библиотека для создания запросов.
Попытался взять чистый дистрибутив библиотеки - удалил - залил - результата 0.
Единственное спасение в данный момент - это сидеть с отрубленными лентами новостей - запросов в сотни раз меньше, но все равно есть. Обнулял и удалял папку - сайт соответственно ложится.
Есть по этому поводу какие-нибудь предположения? Может кто сталкивался. Как с этим бороться...
Русский способ настройки это нажатие всех кнопок устройства одновременно . Помогает реально ... успокоиться.
*

voland

  • Легенда
  • 11030
  • 588 / 112
  • Эта строка съедает место на вашем мониторе
*

Sanchesko

  • Захожу иногда
  • 104
  • 13 / 0
Ну какие 20 запросов я же написал, что каждую секунду идет запрос, помимо всего остального, от этой фигни.
Представьте 20 сайтов на 1ом сервере к которым идет обращение каждую секунду и выкачивание. Приплюсуйте сюда ботов и пользователей...
Русский способ настройки это нажатие всех кнопок устройства одновременно . Помогает реально ... успокоиться.
*

Sanchesko

  • Захожу иногда
  • 104
  • 13 / 0
Это сейчас я вырубил все ленты и запросов стало меньше - по разному на сайтах, но 1-2 раза в час примерно по 20 запросов.
Ну это как я вижу в ротации логов - я тоже не машина, что бы за всем углядеть.
Русский способ настройки это нажатие всех кнопок устройства одновременно . Помогает реально ... успокоиться.
*

Sanchesko

  • Захожу иногда
  • 104
  • 13 / 0
Что нарыл.
SimplePie - класс PHP, предназначенный для управления новостными лентами в форматах RSS и Atom. Класс используется компонентом «Newsfeeds».
Пришел к выводу, что если отрубить компонент фида, то можно будет отключить данную библиотеку.
Попробовал просто отключить компонент. Запросы продолжались. и Папку с библиотекой обнулить не удалось - сайт ложится.
Удалил компонент,- запросы идут, попробовал обнулить папку - сайт ложится.
Пришлось удалить модуль mod_feed и только после этого можно безболезненно обнулить папку с библиотекой.
Запросов не наблюдается ( конечно посмотрю еще пару часиков)
Вопросы все равно остались:
Вина все же библиотеки в такой нагрузке?
Это же сторонняя разработка и они вправе использовать свое программное обеспечение, исходя из лицензии, в своих целях - тут ни чего удивительного, но не переборщили ли они? ( если конечно это их затея - я сужу по логам и что указан сайт разработчика этого парсера и библиотеки к нему).
Возможно ли использовать компонент и модуль фида не используя библиотеки simplepie ? Возможно есть другая, не такая наглая, билиотека.
Ну и последний вопрос:
Может я туплю и дело не в библиотеке и фидах, а просто я где то подхватил "заразу", которая используя их работает не для парса контента, а именно в качестве вредительства - дабы перегрузить канал. Может это с одной стороны и баловство, но я думаю многих введет в ступор и не на один часок. Хотя может это и параноя с вредительством и разработчик simple просто за счет своего детища получает данные для каких-то агрегаторов...
В любом случае будет любопытно узнать мнения joomla-профи.
Зы: Посмотрите свои логи..
Русский способ настройки это нажатие всех кнопок устройства одновременно . Помогает реально ... успокоиться.
*

voland

  • Легенда
  • 11030
  • 588 / 112
  • Эта строка съедает место на вашем мониторе
Может я туплю и дело не в библиотеке и фидах
Возможно..

Я вообще не вижу при чем тут SimplePie?
Та что в Joomla?

Только тем что название совпало с подсовываемым юзерагентом?
*

Sanchesko

  • Захожу иногда
  • 104
  • 13 / 0
Извините, но Вы наверно не читаете посты целиком.
Я исхожу из того, что отключив библиотеку - пропадаю логи.
Может конечно идет использование фида, который в свою очередь использует библиотеку.
Есть только одно но".
Ссылка в логах идет на разработчика ПАРСЕРА. Поведение у данной операции вредоносное и основано на парсе.
У Вас есть сайт на Joomla - фид и библиотека установлены - влючите фид ( не обязательно его выводить, насколько я понял на фронт) и посмотрите логи сайта или сервера.
Если у Вас есть какие-то предположения, что мои догадки не верны, то выскажите и обоснуйте.
А так задавать вопросы "а почему вы так подумали - это только сходство" - слишком много указывает на вину именно этой библиотеки.
Добавлю:
ТП моего старого хоста ( у меня там остались несколько сайтов) и рег.ру в один голос заявили, что вина расширения simplepie, что подтвердило мою догадку. Не знаю как они к этому пришли, но думали почти сутки и посоветовали отключить библиотеку.
Для подтверждения осталось наверное только установить чистый дистрибутив Joomla, залить туда немного материалов и включить фид - дабы увидеть в логах подтверждение....
« Последнее редактирование: 19.02.2013, 23:13:12 от Sanchesko »
Русский способ настройки это нажатие всех кнопок устройства одновременно . Помогает реально ... успокоиться.
*

voland

  • Легенда
  • 11030
  • 588 / 112
  • Эта строка съедает место на вашем мониторе
Ссылка в логах идет на разработчика ПАРСЕРА. Поведение у данной операции вредоносное и основано на парсе.
Где ссылка?
*

Sanchesko

  • Захожу иногда
  • 104
  • 13 / 0
Да в логе.
(Feed Parser; http://simplepie.org/; Allow like Gecko)
Русский способ настройки это нажатие всех кнопок устройства одновременно . Помогает реально ... успокоиться.
*

goral

  • Осваиваюсь на форуме
  • 31
  • 0 / 0
Такая же проблема. Грузится сервер указанными запросами.
привожу примеры из лог файлов
xxx.xxx.x.xx - - [21/Mar/2013:12:50:34 +0200] "GET /index.php?option=com_ninjarsssyndicator&feed_id=1&format=raw&Itemid=163 HTTP/1.1" 200 3401 "http://site/index.php?option=com_ninjarsssyndicator&feed_id=1&format=raw&Itemid=163" "SimplePie/1.2 (Feed Parser; http://simplepie.org; Allow like Gecko) Build/20090627192103"
xxx.xxx.x.xx - - [21/Mar/2013:12:50:35 +0200] "GET /index.php?option=com_ninjarsssyndicator&feed_id=1&format=raw&Itemid=163 HTTP/1.1" 200 3401 "http://site/index.php?option=com_ninjarsssyndicator&feed_id=1&format=raw&Itemid=163" "SimplePie/1.2 (Feed Parser; http://simplepie.org; Allow like Gecko) Build/20090627192103"
*

Sanchesko

  • Захожу иногда
  • 104
  • 13 / 0
Отвечу тут, а не в личке на Ваш вопрос.
Решил вопрос удалением компонента и модуля feed и потом удалять папку библиотеки Simplepie.
Человекопонятным языком заходите в админку/модули ( если есть настроенные ленты с выводом на фронт сайта) - удаляете, затем заходите в Расширения\установить удалить\компоненты и ищете компонент фида - удаляете.
Заходите по ftp на сайт или админку хоста\сервера в файлы сайта в папку /libraries и удаляете(!) Simplepie - обнуление(права 000) папки не помогает.
Перед удалением папки из файлов проверьте в модулях (создать новый), что у вас нет возможности создать новый модуль ленты RSS. Иногда так бывает, что после удаления остается возможность из-за того, что удаляли НЕ выключенный модуль - если возможность есть, то создайте модуль заново - Выключите его - удалите. Только после того, как точно все модули и компоненты фида удалены - удаляйте папку библиотеки, иначе ляжет сайт.
Других возможностей избавиться от перегруза я не нашел. Скажу сразу, что в этом случае личные ленты новостей у меня не пострадали.
Надеюсь, что помог вам.
Русский способ настройки это нажатие всех кнопок устройства одновременно . Помогает реально ... успокоиться.
*

goral

  • Осваиваюсь на форуме
  • 31
  • 0 / 0
У меня ситуация оказалась немного другой.
Оказывается я на ряде других своих сайтах установил стандартный модуль Joomla
mod_feed, в котором указал адрес своей ленты новостей основного сайта.
В настройках модуля стояли опции "не кешировать", обновлять "каждые 15 сек".
Получается, что шло постоянное обращение к ленте новостей, хотя сама лента
новостей была закэширована более чем на интервал в час.
Отключил соответствующие модули - нагрузка на сервер упала.
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться
 

Вопрос по плагину plg_nopdf о генерации PDF

Автор Elimelech

Ответов: 0
Просмотров: 3641
Последний ответ 31.03.2018, 20:42:39
от Elimelech
Сайт знак вопрос

Автор baguta92

Ответов: 5
Просмотров: 2843
Последний ответ 24.01.2018, 13:43:58
от stendapuss
Вопрос по настройке новостной ленты на главной странице сайта

Автор jaff

Ответов: 13
Просмотров: 6839
Последний ответ 15.09.2017, 15:49:19
от sect
Как оптимизировать нагрузку на сервер баз данных?

Автор kabban

Ответов: 7
Просмотров: 2034
Последний ответ 05.05.2017, 07:06:46
от Филипп Сорокин
Нагрузка на сервер - РЕШЕНО

Автор se_demon

Ответов: 20
Просмотров: 6796
Последний ответ 13.08.2016, 13:55:25
от Escander