Рост CPU Usage

  • 42 Ответов
  • 2069 Просмотров

0 Пользователей и 1 Гость просматривают эту тему.

*

Оффлайн vitzer

Рост CPU Usage
« : 06.01.2017, 04:14:20 »
Сайт vvm-auto.ru, хостинг hc.ru, тариф - виртуальный хостинг.
В последнее время увеличилась нагрузка на сервер, а именно на процессор: увеличилось значение CPU Usage.
Нагрузка стала расти под Новый Год, когда траффик падал (см. вложения).
Ошибок никаких нет.
Включено стандартное кэширование Joomla.
По колесам пинал, фары протирал: КЭШ чистил, ucm history в БД чистил. Не помогло.
Написал хостеру. Говорит идите в SSH, смотрите логи:
"С помощью SSH-доступа к хостингу можно получить статистику за прошедший день, выполнив команды:

1) Список IP-адресов наиболее активных посетителей:

cat ~/logs/custom_log.previous | cut -d' ' -f1 | sort | uniq -c | sort -n | tail

2) Список наиболее популярных запросов к сайту:

cat ~/logs/custom_log.previous | cut -d'"' -f2 | cut -d' ' -f2 | sort | uniq -c | sort -n | tail"

Но мне кажется, что посетители здесь не причем. Траффик не аномальный.

Что подскажите, куда копать?

P.S. За 8-летнюю историю работы с хостингом подобные прецеденты случались. Сайт валился. Я писал письма. Мне отвечали, что тупит движок CMS. Но со временем все само-собой решалось. Подобных проблем не было уже, наверное, года два.

*

Оффлайн draff

  • *******
  • 2739
  • [+]174 / [-]5
  • step by step
    • Просмотр профиля
Re: Рост CPU Usage
« Ответ #1 : 06.01.2017, 12:00:41 »
Проверить IP, и если не соответствует направлению сайта- по региону, тематике, банить .


*

Оффлайн vitzer

Re: Рост CPU Usage
« Ответ #3 : 06.01.2017, 12:56:05 »
Отписался хостер. Принес извинения за неточность информации: по SSH я никакой информации получить не смогу - не тот тариф.
В итоге, все как и раньше. После переписки нагрузка незначительно упала. Но все равно, значения не те, что были прежде - довольно высоки.

*

Оффлайн capricorn

Re: Рост CPU Usage
« Ответ #4 : 06.01.2017, 13:39:47 »
без ssh не проверить. надо смотреть какие процессы грузят цпу. вас скорее всего боты ддосят. их надо банить.
почему нет доступа к ssh, там же с бд есть он.
« Последнее редактирование: 06.01.2017, 13:45:30 от capricorn »

*

Оффлайн vitzer

Re: Рост CPU Usage
« Ответ #5 : 06.01.2017, 13:41:28 »
без ssh не проверить. надо смотреть какие процессы грузят цпу. вас скорее всего боты ддосят. их надо банить.
Если бы были боты, то вероятно и траффик на счетчиках посещений был бы аномально большим? Или я заблуждаюсь, и надо ориентироваться на что-то другое?

*

Оффлайн capricorn

Re: Рост CPU Usage
« Ответ #6 : 06.01.2017, 13:46:56 »
Цитировать
Если бы были боты, то вероятно и траффик на счетчиках посещений был бы аномально большим
нет. боты на обычные счетчики не влияют. надо на исходящий траффик смотреть в отчетах и процессы в ssh.


*

Оффлайн vitzer

Re: Рост CPU Usage
« Ответ #7 : 06.01.2017, 15:12:46 »
Полез в логи посещений. Скачал файл размером 50 Мб за 05.01 15:50 - 06.01 11:55
Посмотрел внимательно (насколько умею).
Поиском прошерстил файл со словом bot и получил 12 000 результатов.
Из них более 7000 содержат yandex.com/bots
Примерный вид строки:

GET   141.8.132.45   05/01/2017 15:52:18   http://vvm-auto.ru/peugeot/982-peugeot-307   R:    UA: Mozilla/5.0 (compatible; YandexDirect/3.0; +http://yandex.com/bots)   1d62971f0608fcfa9e141e80734eb4b9

GET   157.55.39.87   05/01/2017 15:52:25   http://vvm-auto.ru/chevrolet/24-chevrolet-captiva-c-100-tipichnyj-koreets   R:    UA: Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)   9045bf6e13b3e006f1b1c5a5b6ff4829

* GET   66.249.76.111   05/01/2017 15:53:54   http://vvm-auto.ru/peugeot/776-peugeot-407   R:    UA: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)   6ebc438fdf47a8c2b70a3648b43e9dd2

Это и есть боты?
« Последнее редактирование: 06.01.2017, 15:23:42 от vitzer »


*

Оффлайн vitzer

Re: Рост CPU Usage
« Ответ #9 : 06.01.2017, 15:58:36 »
Боты. crawl-delay можно написать. Чет голимый какой-то выходит этот хостинг.
Изменил час назад crawl-delay с 10 на 15. Субъективно нагрузка снизилась процентов на 20%.
GET запрсоов за сутки 70 000 из них от ботов - 7 000. Сравнил с данными за 08.12, когда все было тип-топ: 89 000 и 12 200 соответственно. В ботах ли дело?
« Последнее редактирование: 06.01.2017, 17:04:01 от vitzer »

*

Оффлайн capricorn

Re: Рост CPU Usage
« Ответ #10 : 06.01.2017, 19:48:56 »
Цитировать
В ботах ли дело?

у меня в конце прошлого года была такая ситуация - сайт на моем сервере просто иногда не открывался. в отчетах нагрузка системы превышала 1 и нагрузка ЦПУ тоже была большой. поймал несколько таких моментов, смотрел лог доступа - шли непрерывные запросы с определенных IP диапазонов. кажется было так - чуть ли не в секунду по несколько. подтвердить не могу - логи обновлены и затерты системой. но нормальный поисковый бот не будет сайт валить. баню в .htaccess по первым двум октетам. попался также 141.8 как у вас. нагрузка моментально падает и сайт начинает открываться. так я забанил пока 3 диапазона.

Order Allow,Deny
Deny from 130.193.
Deny from 141.8.
Deny from 46.229.
Allow from all

тем не менее я вижу сейчас в логе IP адреса с ними. в т.ч. IP 141.8.*.* проверил - это Yandex. но бан работает, т.к. если свой IP так забанить то сайт отказывает в доступе.

как объяснить эту ситуацию я не знаю. но бан помогает. в веб-мастере Yandex сообщений насчет доступа его робота нет.

*

Оффлайн vitzer

Re: Рост CPU Usage
« Ответ #11 : 06.01.2017, 20:14:43 »
А кто знает, это штука работает?
http://stackoverflow.com/questions/9942276/how-to-block-bad-unidentified-bots-crawling-my-website
А то у меня Awast на первом месте показывает роботов с неопределенными именами, типа: +:,.;/\-)
Вот код, который предлагают в ссылке:
Спойлер
[свернуть]

*

Оффлайн vitzer

Re: Рост CPU Usage
« Ответ #12 : 06.01.2017, 20:42:05 »
Интересно. Переписывался-переписывался с хостером и вот ответ:
"Здравствуйте!

Ваша заявка передана на исполнение в отдел системного администрирования.
По результатам выполнения мы обязательно уведомим Вас дополнительным письмом в рамках данной переписки."
А до этого, что за ответы и советы присылали с тех поддержки?
hc.ru  :D вы там в порядке?  :o или  *DRINK*
« Последнее редактирование: 06.01.2017, 20:46:26 от vitzer »

*

Оффлайн capricorn

Re: Рост CPU Usage
« Ответ #13 : 06.01.2017, 22:18:04 »
Цитировать
А кто знает, это штука работает?

Она должна работать, если уже известно, кого именно надо банить.

У меня были подозрения на возможность подделки IP адреса и User-Agent в GET запросе. Вернее это реально. Точно уже не помню что было в логе на момент перегрузки у меня, поэтому не буду высказывать предположения. Но кажется также нечто типа вполне разумного - yandex bot и др.

Всякое может быть, не обязательно "плохие" боты, поэтому для более объективного анализа нужна информация о том, когда была точно повышенная нагрузка и лог на этот момент. Обычно резко нарастает и спадает в течение краткого периода. Вряд-ли ваш сайт кому-то сильно насолил. Хостер тут не причем. Очень желательно иметь доступ к терминалу ssh.





« Последнее редактирование: 06.01.2017, 22:26:20 от capricorn »

*

Оффлайн vitzer

Re: Рост CPU Usage
« Ответ #14 : 06.01.2017, 22:29:15 »
Вряд-ли ваш сайт кому-то сильно насолил. Хостер тут не причем.
Нужен он школьникам или кому-то еще, не знаю. Сайт постоянно взламывали. Спасибо Ревизум - запечатали.
Воспользовался вашим советом и прописал в htaccess запрет на ip: два диапазона IP совпали с вашим и один нашел свой. Судя по логам, переходы с запрещенных IP прекратились, но нагрузка на сайт не упала: скачет, как шальная лошадь. Да и ответ сервера то в ТУ, то переваливает за 2 секунды. Похоже причина в чем-то другом.

*

Оффлайн capricorn

Re: Рост CPU Usage
« Ответ #15 : 06.01.2017, 23:39:53 »
понаблюдайте за массовыми визитами в том же ключе некоторое время. отчеты не сразу обновляются. пока не готов что-либо посоветовать. домен пингуется нормально. в ssh смотрите нагрузку командой top - какие процессы грузят сервер. и возможно есть смысл проверить исходящие соединения командой netstat.
« Последнее редактирование: 06.01.2017, 23:53:04 от capricorn »

*

Оффлайн vitzer

Re: Рост CPU Usage
« Ответ #16 : 07.01.2017, 00:04:02 »
понаблюдайте за массовыми визитами в том же ключе некоторое время. отчеты не сразу обновляются. пока не готов что-либо посоветовать. домен пингуется нормально. в ssh смотрите нагрузку командой top - какие процессы грузят сервер. и возможно есть смысл проверить исходящие соединения командой netstat.
netstat не работает, а top выдает такую картину:

top - 22:00:39 up 50 days, 17:30,  0 users,  load average: 14.26, 11.49, 11.80
Tasks:   4 total,   1 running,   3 sleeping,   0 stopped,   0 zombie
Cpu(s): 14.7%us, 70.7%sy,  1.2%ni, 10.7%id,  0.9%wa,  0.0%hi,  0.2%si,  1.7%st
Mem:  31010164k total, 28734680k used,  2275484k free,  2790284k buffers
Swap:  2000088k total,  1322572k used,   677516k free, 16545332k cached

    PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
 314850 c16114    20   0 14896 1228  996 R  0.3  0.0   0:04.34 top
 299648 c16114    20   0  359m  19m  16m S  0.0  0.1   1:59.54 lsphp
 314304 c16114    20   0  109m 2024  836 S  0.0  0.0   0:00.06 sshd
 314305 c16114    20   0 11448 1756 1396 S  0.0  0.0   0:00.10 bash


Что это - сейчас буду пытаться разбираться...

Почитал, что все это значит и понял, что ничего не понял. Точнее понял, что грузит, а что грузит - все равно не понял.
« Последнее редактирование: 07.01.2017, 01:39:52 от vitzer »

*

Оффлайн capricorn

Re: Рост CPU Usage
« Ответ #17 : 07.01.2017, 02:17:39 »
подождите ответа системщиков хц. если бы вы превышали систематически квоту на CPU вас бы заблокировали. мне кажется ошибка в отчете.




« Последнее редактирование: 07.01.2017, 02:26:47 от capricorn »

*

Оффлайн vitzer

Re: Рост CPU Usage
« Ответ #18 : 07.01.2017, 02:20:01 »
подождите ответа системщиков хц.
сайт работает нормально?
Только если не брать в расчет плавающее время ответа сервера (от норм до 3,5 сек), то все ок.
Да, и ошибочки посыпались в Cpanel по заблокированным IP яндекс-бота.
« Последнее редактирование: 07.01.2017, 02:28:57 от vitzer »

*

Оффлайн capricorn

Re: Рост CPU Usage
« Ответ #19 : 07.01.2017, 02:28:02 »
Цитировать
Только если не брать в расчет плавающее время ответа сервера (от норм до 3,5 сек)

уточните что вы имеете ввиду?

*

Оффлайн vitzer

Re: Рост CPU Usage
« Ответ #20 : 07.01.2017, 02:32:47 »
уточните что вы имеете ввиду?
При проверке ответа сервера, например через Вебмастер Яндекса или PageSpeed Insights время ответа сервера колеблется от "стандартных" 50-150 мс до умопомрачительных 600-900 и выше (в момент нагрузки близкой к пиковой).
Раньше всегда было стабильно 50-150 мс.
В общем, жду ответа хостера.
« Последнее редактирование: 07.01.2017, 02:40:37 от vitzer »

Re: Рост CPU Usage
« Ответ #21 : 07.01.2017, 02:41:09 »
Ошибок исполнения скриптов нету? Как вариант подключать неиспользуемые модули, мне к примеру в одном случае помогло отключение awstats.

*

Оффлайн capricorn

Re: Рост CPU Usage
« Ответ #22 : 07.01.2017, 02:46:15 »
все вроде нормально.

как вы определяете что наступила пиковая нагрузка?

*

Оффлайн vitzer

Re: Рост CPU Usage
« Ответ #23 : 07.01.2017, 02:47:07 »
Ошибок исполнения скриптов нету? Как вариант подключать неиспользуемые модули, мне к примеру в одном случае помогло отключение awstats.
Нет, в логах ошибок все чисто. Неиспользуемые модули поотключал первым делом. А вот awstats "легально" не отключается. По моему только удалением файлов каталоге.

*

Оффлайн vitzer

Re: Рост CPU Usage
« Ответ #24 : 07.01.2017, 02:53:27 »
как вы определяете что наступила пиковая нагрузка?
Пиковую нагрузку определяю по информации в Cpanel: выводится табличка и графики. С 00:20 до 00:35 все было Ок - полный штиль. А теперь снова рост и в 0:48 ответ сервера 0,99 секунды.
Во вложении данные за последний час 00.00-0.50
« Последнее редактирование: 07.01.2017, 02:58:50 от vitzer »

*

Оффлайн capricorn

Re: Рост CPU Usage
« Ответ #25 : 07.01.2017, 03:05:04 »
все OK. 20% это нормально. завтра посмотрите - будет тот же самый график. это сервер хостера управляет ресурсами.
« Последнее редактирование: 07.01.2017, 03:15:25 от capricorn »

*

Оффлайн vitzer

Re: Рост CPU Usage
« Ответ #26 : 07.01.2017, 03:16:17 »
все OK. 20% это нормально. завтра посмотрите - будет тот же самый график. это сервер хостера управляет ресурсами.
Может я и вправду параноик?
Но раньше таких графиков не было.
Во вложении график за 06.01
И когда вы написали Ок, ответ сервера через PageSpeed составил 0,76 секунд, а через пару минут 0,24. А пока писал эти строки снова - 0,96. Раньше всегда было стабильно - меньше 0.20 сек. В декабре переделывал много страниц и проверял через PageSpeed, никогда не было сбоев.
По моему сервер лихорадит. Грипп))) Или я параноик?
« Последнее редактирование: 07.01.2017, 03:19:40 от vitzer »

*

Оффлайн capricorn

Re: Рост CPU Usage
« Ответ #27 : 07.01.2017, 03:26:54 »
вы же не один в очереди на онлайн проверку. не хочу грузить вас.
дождитесь ответа хостера. потом обсудим.

*

Оффлайн vitzer

Re: Рост CPU Usage
« Ответ #28 : 07.01.2017, 23:45:54 »
И все-таки это школьный DDDOS.
Одного урода поймал с 16.22 через 1-2-3 секунды 1708 запросов:
GET   46.253.221.230   07/01/2017 21:16:28   http://vvm-auto.ru/component/jcomments/captcha/29467   R: http://vvm-auto.ru/mercedes/1166-mercedes-cl-c140   UA: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.100 YaBrowser/16.11.1.673 Yowser/2.5 Safari/537.36   d181c69d67374a96e7d9675c6500632a
Заблокировал, но нагрузка не упала.
« Последнее редактирование: 08.01.2017, 00:20:43 от vitzer »

*

Оффлайн vitzer

Re: Рост CPU Usage
« Ответ #29 : 08.01.2017, 00:22:10 »
До сих пор долбит. Придурок.
А кто знает: если IP в htaccess заблокирован нагрузка все равно на сервер большая? Что-то нагрузку не сильно отпускает.