Форум русской поддержки Joomla!® CMS
18.01.2017, 20:02:47 *
Добро пожаловать, Гость. Пожалуйста, войдите или зарегистрируйтесь.
Вам не пришло письмо с кодом активации?

Войти
   
   Начало   Поиск Joomla 3.0 FAQ Joomla 2.5 FAQ Joomla 1.5 FAQ Правила форума Новости Joomla Реклама Войти Регистрация Помощь  
Страниц: [1]   Вниз
  Добавить закладку  |  Печать  
Автор

10 часов сайт превышал допустимую нагрузку и cpu в этот день превысило в 3, 5 раз

 (Прочитано 517 раз)
0 Пользователей и 1 Гость смотрят эту тему.
rezchik
Осваиваюсь на форуме
***

Репутация: +0/-0
Offline Offline

Сообщений: 39


« : 21.07.2016, 23:28:36 »

Здравствуйте.
В течении примерно 10 часов сайт превышал  допустимую нагрузку и  cpu в этот день превысило в 3,5 раз.
Затем все установилось в в обычной норме 25% от допустимой. Администратор сразу предложил другой тарифный план.
Сам в файлах logs ничего не обнаружил. На что админ ответил:
Потому что вам нужно было самостоятельно открыто логи и посмотреть что именно создавало эти запросы к вашему сайту .
Сделав это вы бы увидели что топ по запросам составляют поисковые боты
   2206 66.249.78.250
   3460 52.12.223.139
   4781 66.102.9.8
   4932 66.102.9.121
   4954 66.102.9.111

А также один адрес который активно создавал запросы к вашему сайту чем и добавил нагрузки.
 132913 185.93.185.246
Как определить что это за поисковые боты и адрес. И можно их заблокировать?
Записан
effrit
Группа развития
*****

Репутация: +776/-7
Online Online

Пол: Мужской
Сообщений: 7203


effrit.com


« Ответ #1 : 22.07.2016, 00:14:44 »

можно попробовать вот такое, как вариант
https://github.com/bluedragonz/bad-bot-blocker/blob/master/.htaccess#L225

только Яндекс убрать из списка, ибо без него сайту погрустнеет ))
ну может кто-то более умный прокомментирует совет.
Записан
flyingspook
Moderator
*****

Репутация: +229/-9
Offline Offline

Сообщений: 3604


« Ответ #2 : 22.07.2016, 02:19:02 »

Google в вебмастере настраивается на время посещения, для яндекса пишем в роботс
Код:
User-agent: Yandex
Crawl-delay: 2 # задает таймаут в 2 секунды
таймаут в среднем 5 ставим размещаем в самом вверху
Записан
draff
Практически профи
*******

Репутация: +164/-5
Offline Offline

Пол: Мужской
Сообщений: 2688


step by step


« Ответ #3 : 22.07.2016, 08:55:01 »

Цитировать
А также один адрес который активно создавал запросы к вашему сайту чем и добавил нагрузки.
 132913 185.93.185.246
Как определить что это за поисковые боты и адрес. И можно их заблокировать?
Узнать можно на https://2ip.ru/whois/ . Какие расширения установлены на сайте?
Записан
rezchik
Осваиваюсь на форуме
***

Репутация: +0/-0
Offline Offline

Сообщений: 39


« Ответ #4 : 23.07.2016, 00:56:34 »

jcoments, Xmap, mod-custom   остальные что установлены в Joomla 1.5.18 stable
Записан
draff
Практически профи
*******

Репутация: +164/-5
Offline Offline

Пол: Мужской
Сообщений: 2688


step by step


« Ответ #5 : 23.07.2016, 07:42:17 »

Цитировать
Joomla 1.5.18
Нужно обновить до 1.5.26 + отдельные  патчи безопасности для Joomla 1.5. Ну и банить все равно придется. Встречаются запросы по уязвимости редактора ICE и в 2016 году.
Записан
rezchik
Осваиваюсь на форуме
***

Репутация: +0/-0
Offline Offline

Сообщений: 39


« Ответ #6 : 23.07.2016, 23:42:19 »

 2206 66.249.78.250
   3460 52.12.223.139
   4781 66.102.9.8
   4932 66.102.9.121
   4954 66.102.9.111
132913 185.93.185.246
как IP  АДРЕСА 2ip.ru/whois не определяет.
Записан
winstrool
Завсегдатай
*****

Репутация: +40/-2
Offline Offline

Пол: Мужской
Сообщений: 749


Свободен для работы


« Ответ #7 : 24.07.2016, 00:05:21 »

2206 66.249.78.250
   3460 52.12.223.139
   4781 66.102.9.8
   4932 66.102.9.121
   4954 66.102.9.111
132913 185.93.185.246
как IP  АДРЕСА 2ip.ru/whois не определяет.
Ну с вашими познаниями и пониманием вещей 100% вы самостоятельно вопрос не решите!
IP адреса:
66.249.78.250 а не  2206 66.249.78.250 и так далие по списку...
Записан
rezchik
Осваиваюсь на форуме
***

Репутация: +0/-0
Offline Offline

Сообщений: 39


« Ответ #8 : 26.07.2016, 22:33:32 »

Все  IP кроме нижнего США. В основном с разных городов и провайдеров. Но общее у них Ref:https://whois.arin.net/. Последний с Украины. Что лучше заблокировать все IP или https://whois.arin.net/?
Записан
Bright
Осваиваюсь на форуме
***

Репутация: +2/-2
Offline Offline

Пол: Мужской
Сообщений: 185


« Ответ #9 : 26.07.2016, 22:39:54 »

   2206 66.249.78.250
   3460 52.12.223.139
   4781 66.102.9.8
   4932 66.102.9.121
   4954 66.102.9.111
Это ни о чём, на месте техподдержки чернила поэкономил бы.

А также один адрес который активно создавал запросы к вашему сайту чем и добавил нагрузки.
 132913 185.93.185.246
А вот это весело. Он один многократно превысил весь тот список.
За 133 тысячи запросов в баню его, даже не разбираясь )
Записан
Bright
Осваиваюсь на форуме
***

Репутация: +2/-2
Offline Offline

Пол: Мужской
Сообщений: 185


« Ответ #10 : 26.07.2016, 22:44:50 »


За 133 тысячи запросов в баню его, даже не разбираясь )
А вообще надо обязательно смотреть логи посещений. Запрос запросу рознь. Запросы могут быть легкими, могут тяжелыми, а могут быть вообще "наощупь", по несуществующим объектам - на них ЦП вместо доли секунды может подвиснуть по несколько секунд на каждом (типа ищет) и из-за этого получится перегрузка на относительно небольшом количестве запросов (при хорошем их "качестве").

Я не спец в этом, но написал что понял в процессе борьбы с такой же нечистью. А спецы поправят, если что. Azn
Записан
rezchik
Осваиваюсь на форуме
***

Репутация: +0/-0
Offline Offline

Сообщений: 39


« Ответ #11 : 14.08.2016, 23:00:02 »

Интересно что перед этой нагрузкой 12 июля. Нашел такое сообщение. Этот сервер MySol запущен 11 июня 2016г.
Записан
vitzer
Осваиваюсь на форуме
***

Репутация: +2/-0
Offline Offline

Сообщений: 188


« Ответ #12 : 08.01.2017, 01:25:03 »

vvm-auto.ru
Началось под новый год. Но сегодня предел. Начал вычищать IP: запросы реально цикличные - строго на один или пару файлов, или на одну-две конкретные страницы.
Есть ли универсальное решение для виртуального хостинга? Что-то конкретных ответов в теме не увидел. Или ждать, пока отвалятся сами собой?
Записан
flyingspook
Moderator
*****

Репутация: +229/-9
Offline Offline

Сообщений: 3604


« Ответ #13 : 08.01.2017, 02:28:59 »

vvm-auto.ru
Началось под новый год. Но сегодня предел. Начал вычищать IP: запросы реально цикличные - строго на один или пару файлов, или на одну-две конкретные страницы.
Есть ли универсальное решение для виртуального хостинга? Что-то конкретных ответов в теме не увидел. Или ждать, пока отвалятся сами собой?
Ждать, или брать у хостера платные защиты.
Записан
SeBun
Практически профи
*******

Репутация: +139/-3
Offline Offline

Пол: Мужской
Сообщений: 2368



« Ответ #14 : 08.01.2017, 02:29:18 »

Вообще универсальных решений нет и нужно разбираться в каждом конкретном случае. Чаще всего нагрузку создают внедряемые при взломе скрипты. Но буквально перед НГ был перецедент - у клиента, который имел шаред-хостинг у TimeWeb была дикая нагрузка на ресурсы, ему впарили самый дорогой тариф для Bitrix, якобы только он может выдержать нагрузку. Не прошло и недели, клиенту предлагают подергать ползунки нагрузки - увеличить максимально допустимую нагрузку на процессор и базу, естественно это дополнительные расходы. Клиент в шоке. После переноса сайта на мой хостинг нагрузка исчезла полностью. При этом только один форум у клиента Весит порядка 10Гб.

Я не хочу катить бочку на сотрудников TimeWeb, но это уже не первый такой прецедент. Сам ушел от них по той же причине - стали впаривать тариф, нагрузка превышает допустимые пределы. Просканировал сайт - все чисто. Перенес на другой хостинг - и все стабилизировалось.

Но повторюсь - нужен аудит сайта в любом случае. Просите у хостера логи сервера и анализируйте. Хотя бы так для начала.
Записан
vitzer
Осваиваюсь на форуме
***

Репутация: +2/-0
Offline Offline

Сообщений: 188


« Ответ #15 : 08.01.2017, 02:40:54 »

Но повторюсь - нужен аудит сайта в любом случае. Просите у хостера логи сервера и анализируйте. Хотя бы так для начала.
Я на hc.ru. Реально левые IP атакуют. После блокировки отображаются в панели ошибок: по 9-10 запросов в секунду с одного IP.
Хостер платной защиты не предлагает. Но после вопроса: что делать, менять тарифный план или искать другой хостинг, обещал разобраться. Правда, уже дня два ни ответа, ни привета. Сижу жду... и чищу потихоньку IP.
Записан
SeBun
Практически профи
*******

Репутация: +139/-3
Offline Offline

Пол: Мужской
Сообщений: 2368



« Ответ #16 : 08.01.2017, 03:08:49 »

Скорее всего щупают. Могу порекомендовать отрубить доступ с прокси (именно с них идут запросы) и ограничить по странам.

Вот кусок кода из моего класса, думаю, сообразите, как адаптировать под себя:

Код
    /**
    * Если посетитель пришел с прокси-сервера, то в переменной $_SERVER['HTTP_VIA']
    * хранится имя, версия программного обеспечения и номер порта.
    *
    * @return boolean Возвращает TRUE, если есть признак принадлежности к прокси.
    */

   private function detectVIA()
   {
 
       if (!empty($_SERVER['HTTP_VIA'])) {
         return true;
       }
 
       return FALSE; //строка пуста.
 
   }
 
 
   private function detectPort()
   {
       $ports = array(8080,80,81,1080,6588,8000,3128,553,554,4480);
 
       if ($_SERVER['REMOTE_ADDR'] == '127.0.0.1') {
           return FALSE; // отключить для localhost
       }
 
       foreach($ports as $port) {
           if (@fsockopen($_SERVER['REMOTE_ADDR'], $port, $errno, $errstr, 30)) {
               return true;
           }
       }
   }

В .htaccess директивой auto_prepend_file подключите файлик с проверкой прокси, и они будут резаться. Сначала проверяете первой функцией. Если вернула ложь, проверяете второй.

Второе - написал, как ограничить по странам тут.
« Последнее редактирование: 08.01.2017, 03:19:17 от SeBun » Записан
vitzer
Осваиваюсь на форуме
***

Репутация: +2/-0
Offline Offline

Сообщений: 188


« Ответ #17 : 08.01.2017, 03:12:02 »

Скорее всего щупают. Могу порекомендовать отрубить доступ с прокси (именно с них идут запросы) и ограничить по странам.

Вот кусок кода из моего класса

Второе - написал, как ограничить по странам тут.
Спасибо!

Отписался хостер - сбой на их стороне.
« Последнее редактирование: 10.01.2017, 11:40:34 от vitzer » Записан
SeBun
Практически профи
*******

Репутация: +139/-3
Offline Offline

Пол: Мужской
Сообщений: 2368



« Ответ #18 : 08.01.2017, 03:18:38 »

Я чуть подкорректировал код, обратите внимание. Сначала проверяете $_SERVER['HTTP_VIA'], если проскочило, щупаем порты прокси. Если нашли прокси, можно, например, выводить капчу. Ну и еще кусочек кода:

Код
sleep(2);

Для юзера не критично. А вот бот обломится.
Записан
Страниц: [1]   Вверх
  Добавить закладку  |  Печать  
 
Перейти в:  

Powered by SMF 1.1.21 | SMF © 2006, Simple Machines

Joomlaforum.ru is not affiliated with or endorsed by the Joomla! Project or Open Source Matters.
The Joomla! name and logo is used under a limited license granted by Open Source Matters
the trademark holder in the United States and other countries.

LiveInternet