Рост CPU Usage - Хостинг-Центр

Сайт vvm-auto.ru, хостинг hc.ru, тариф - виртуальный хостинг.
В последнее время увеличилась нагрузка на сервер, а именно на процессор: увеличилось значение CPU Usage.
Нагрузка стала расти под Новый Год, когда траффик падал (см. вложения).
Ошибок никаких нет.
Включено стандартное кэширование Joomla.
По колесам пинал, фары протирал: КЭШ чистил, ucm history в БД чистил. Не помогло.
Написал хостеру. Говорит идите в SSH, смотрите логи:
"С помощью SSH-доступа к хостингу можно получить статистику за прошедший день, выполнив команды:

1) Список IP-адресов наиболее активных посетителей:

cat ~/logs/custom_log.previous | cut -d' ' -f1 | sort | uniq -c | sort -n | tail

2) Список наиболее популярных запросов к сайту:

cat ~/logs/custom_log.previous | cut -d'"' -f2 | cut -d' ' -f2 | sort | uniq -c | sort -n | tail"

Но мне кажется, что посетители здесь не причем. Траффик не аномальный.

Что подскажите, куда копать?

P.S. За 8-летнюю историю работы с хостингом подобные прецеденты случались. Сайт валился. Я писал письма. Мне отвечали, что тупит движок CMS. Но со временем все само-собой решалось. Подобных проблем не было уже, наверное, года два.

Проверить IP, и если не соответствует направлению сайта- по региону, тематике, банить .

Боты ломятся или хостер хочет на тариф выше перевести.

Отписался хостер. Принес извинения за неточность информации: по SSH я никакой информации получить не смогу - не тот тариф.
В итоге, все как и раньше. После переписки нагрузка незначительно упала. Но все равно, значения не те, что были прежде - довольно высоки.

без ssh не проверить. надо смотреть какие процессы грузят цпу. вас скорее всего боты ддосят. их надо банить.
почему нет доступа к ssh, там же с бд есть он.

без ssh не проверить. надо смотреть какие процессы грузят цпу. вас скорее всего боты ддосят. их надо банить.

Если бы были боты, то вероятно и траффик на счетчиках посещений был бы аномально большим? Или я заблуждаюсь, и надо ориентироваться на что-то другое?

Если бы были боты, то вероятно и траффик на счетчиках посещений был бы аномально большим

нет. боты на обычные счетчики не влияют. надо на исходящий траффик смотреть в отчетах и процессы в ssh.

Полез в логи посещений. Скачал файл размером 50 Мб за 05.01 15:50 - 06.01 11:55
Посмотрел внимательно (насколько умею).
Поиском прошерстил файл со словом bot и получил 12 000 результатов.
Из них более 7000 содержат yandex.com/bots
Примерный вид строки:

GET   141.8.132.45   05/01/2017 15:52:18   http://vvm-auto.ru/peugeot/982-peugeot-307   R:    UA: Mozilla/5.0 (compatible; YandexDirect/3.0; +http://yandex.com/bots)   1d62971f0608fcfa9e141e80734eb4b9

GET   157.55.39.87   05/01/2017 15:52:25   http://vvm-auto.ru/chevrolet/24-chevrolet-captiva-c-100-tipichnyj-koreets   R:    UA: Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)   9045bf6e13b3e006f1b1c5a5b6ff4829

* GET   66.249.76.111   05/01/2017 15:53:54   http://vvm-auto.ru/peugeot/776-peugeot-407   R:    UA: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)   6ebc438fdf47a8c2b70a3648b43e9dd2

Это и есть боты?

Боты. crawl-delay можно написать. Чет голимый какой-то выходит этот хостинг.

Боты. crawl-delay можно написать. Чет голимый какой-то выходит этот хостинг.

Изменил час назад crawl-delay с 10 на 15. Субъективно нагрузка снизилась процентов на 20%.
GET запрсоов за сутки 70 000 из них от ботов - 7 000. Сравнил с данными за 08.12, когда все было тип-топ: 89 000 и 12 200 соответственно. В ботах ли дело?

В ботах ли дело?

у меня в конце прошлого года была такая ситуация - сайт на моем сервере просто иногда не открывался. в отчетах нагрузка системы превышала 1 и нагрузка ЦПУ тоже была большой. поймал несколько таких моментов, смотрел лог доступа - шли непрерывные запросы с определенных IP диапазонов. кажется было так - чуть ли не в секунду по несколько. подтвердить не могу - логи обновлены и затерты системой. но нормальный поисковый бот не будет сайт валить. баню в .htaccess по первым двум октетам. попался также 141.8 как у вас. нагрузка моментально падает и сайт начинает открываться. так я забанил пока 3 диапазона.

Order Allow,Deny
Deny from 130.193.
Deny from 141.8.
Deny from 46.229.
Allow from all

тем не менее я вижу сейчас в логе IP адреса с ними. в т.ч. IP 141.8.*.* проверил - это Yandex. но бан работает, т.к. если свой IP так забанить то сайт отказывает в доступе.

как объяснить эту ситуацию я не знаю. но бан помогает. в веб-мастере Yandex сообщений насчет доступа его робота нет.

А кто знает, это штука работает?
^{http://stackoverflow.com/questions/9942276/how-to-block-bad-unidentified-bots-crawling-my-website
_{А то у меня Awast на первом месте показывает роботов с неопределенными именами, типа: +:,.;/\-)
Вот код, который предлагают в ссылке:}}

Интересно. Переписывался-переписывался с хостером и вот ответ:
"Здравствуйте!

Ваша заявка передана на исполнение в отдел системного администрирования.
По результатам выполнения мы обязательно уведомим Вас дополнительным письмом в рамках данной переписки."
А до этого, что за ответы и советы присылали с тех поддержки?
hc.ru   вы там в порядке?   или 

А кто знает, это штука работает?

Она должна работать, если уже известно, кого именно надо банить.

У меня были подозрения на возможность подделки IP адреса и User-Agent в GET запросе. Вернее это реально. Точно уже не помню что было в логе на момент перегрузки у меня, поэтому не буду высказывать предположения. Но кажется также нечто типа вполне разумного - yandex bot и др.

Всякое может быть, не обязательно "плохие" боты, поэтому для более объективного анализа нужна информация о том, когда была точно повышенная нагрузка и лог на этот момент. Обычно резко нарастает и спадает в течение краткого периода. Вряд-ли ваш сайт кому-то сильно насолил. Хостер тут не причем. Очень желательно иметь доступ к терминалу ssh.

Вряд-ли ваш сайт кому-то сильно насолил. Хостер тут не причем.

Нужен он школьникам или кому-то еще, не знаю. Сайт постоянно взламывали. Спасибо Ревизум - запечатали.
Воспользовался вашим советом и прописал в htaccess запрет на ip: два диапазона IP совпали с вашим и один нашел свой. Судя по логам, переходы с запрещенных IP прекратились, но нагрузка на сайт не упала: скачет, как шальная лошадь. Да и ответ сервера то в ТУ, то переваливает за 2 секунды. Похоже причина в чем-то другом.

понаблюдайте за массовыми визитами в том же ключе некоторое время. отчеты не сразу обновляются. пока не готов что-либо посоветовать. домен пингуется нормально. в ssh смотрите нагрузку командой top - какие процессы грузят сервер. и возможно есть смысл проверить исходящие соединения командой netstat.

понаблюдайте за массовыми визитами в том же ключе некоторое время. отчеты не сразу обновляются. пока не готов что-либо посоветовать. домен пингуется нормально. в ssh смотрите нагрузку командой top - какие процессы грузят сервер. и возможно есть смысл проверить исходящие соединения командой netstat.

netstat не работает, а top выдает такую картину:

top - 22:00:39 up 50 days, 17:30,  0 users,  load average: 14.26, 11.49, 11.80
Tasks:   4 total,   1 running,   3 sleeping,   0 stopped,   0 zombie
Cpu(s): 14.7%us, 70.7%sy,  1.2%ni, 10.7%id,  0.9%wa,  0.0%hi,  0.2%si,  1.7%st
Mem:  31010164k total, 28734680k used,  2275484k free,  2790284k buffers
Swap:  2000088k total,  1322572k used,   677516k free, 16545332k cached

    PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
 314850 c16114    20   0 14896 1228  996 R  0.3  0.0   0:04.34 top
 299648 c16114    20   0  359m  19m  16m S  0.0  0.1   1:59.54 lsphp
 314304 c16114    20   0  109m 2024  836 S  0.0  0.0   0:00.06 sshd
 314305 c16114    20   0 11448 1756 1396 S  0.0  0.0   0:00.10 bash


Что это - сейчас буду пытаться разбираться...

Почитал, что все это значит и понял, что ничего не понял. Точнее понял, что грузит, а что грузит - все равно не понял.

подождите ответа системщиков хц. если бы вы превышали систематически квоту на CPU вас бы заблокировали. мне кажется ошибка в отчете.

подождите ответа системщиков хц.
сайт работает нормально?

Только если не брать в расчет плавающее время ответа сервера (от норм до 3,5 сек), то все ок.
Да, и ошибочки посыпались в Cpanel по заблокированным IP яндекс-бота.

Только если не брать в расчет плавающее время ответа сервера (от норм до 3,5 сек)

уточните что вы имеете ввиду?

уточните что вы имеете ввиду?

При проверке ответа сервера, например через Вебмастер Яндекса или PageSpeed Insights время ответа сервера колеблется от "стандартных" 50-150 мс до умопомрачительных 600-900 и выше (в момент нагрузки близкой к пиковой).
Раньше всегда было стабильно 50-150 мс.
В общем, жду ответа хостера.

Ошибок исполнения скриптов нету? Как вариант подключать неиспользуемые модули, мне к примеру в одном случае помогло отключение awstats.

все вроде нормально.

как вы определяете что наступила пиковая нагрузка?

Ошибок исполнения скриптов нету? Как вариант подключать неиспользуемые модули, мне к примеру в одном случае помогло отключение awstats.

Нет, в логах ошибок все чисто. Неиспользуемые модули поотключал первым делом. А вот awstats "легально" не отключается. По моему только удалением файлов каталоге.

как вы определяете что наступила пиковая нагрузка?

Пиковую нагрузку определяю по информации в Cpanel: выводится табличка и графики. С 00:20 до 00:35 все было Ок - полный штиль. А теперь снова рост и в 0:48 ответ сервера 0,99 секунды.
Во вложении данные за последний час 00.00-0.50

все OK. 20% это нормально. завтра посмотрите - будет тот же самый график. это сервер хостера управляет ресурсами.

все OK. 20% это нормально. завтра посмотрите - будет тот же самый график. это сервер хостера управляет ресурсами.

Может я и вправду параноик?
Но раньше таких графиков не было.
Во вложении график за 06.01
И когда вы написали Ок, ответ сервера через PageSpeed составил 0,76 секунд, а через пару минут 0,24. А пока писал эти строки снова - 0,96. Раньше всегда было стабильно - меньше 0.20 сек. В декабре переделывал много страниц и проверял через PageSpeed, никогда не было сбоев.
По моему сервер лихорадит. Грипп))) Или я параноик?

вы же не один в очереди на онлайн проверку. не хочу грузить вас.
дождитесь ответа хостера. потом обсудим.

И все-таки это школьный DDDOS.
Одного урода поймал с 16.22 через 1-2-3 секунды 1708 запросов:
GET   46.253.221.230   07/01/2017 21:16:28   http://vvm-auto.ru/component/jcomments/captcha/29467   R: http://vvm-auto.ru/mercedes/1166-mercedes-cl-c140   UA: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.100 YaBrowser/16.11.1.673 Yowser/2.5 Safari/537.36   d181c69d67374a96e7d9675c6500632a
Заблокировал, но нагрузка не упала.

До сих пор долбит. Придурок.
А кто знает: если IP в htaccess заблокирован нагрузка все равно на сервер большая? Что-то нагрузку не сильно отпускает.