Каждую субботу тупит сайт или сервер

  • 23 Ответов
  • 610 Просмотров

0 Пользователей и 1 Гость просматривают эту тему.

*

Оффлайн vitzer

Ну вот прошла очередная суббота с непонятным багом.

Предыстория.
Уже больше месяца не могут разобраться с проблемой. После переезда на VPS каждую пятницу начинает тупить сайт/сервер, достигая пика в субботу. В воскресенье проблема уходит, и сайт начинает летать. Для простоты понимания время ответа сервера во вложении.

Причину найти не удалось. Все потребляемые ресурсы в пределах разрешенных. Сегодня Вс и сайт снова заработал, как прежде. Объемы потребляемых ресурсов и сами процессы, что в дни проблем, что в будни - одинаковые (судя по top и htop). Однако на графиках в панели ISP в эти дни расход оперативной памяти увеличивается (вложение 2).

Сравнил задачи в процессах - никаких изменений. Тех поддержка заявляет, что с их стороны все в порядке.

В планировщике стояла задача еженедельного сканирования вирусов Clamav в ночь с Пт на Сб, но я ее оставлял неактивной, а вчера и вовсе удалил.
В логах ошибок нет.

Куда копать в следующую субботу?

*

Оффлайн draff

  • *******
  • 2819
  • [+]174 / [-]5
  • Пол: Мужской
  • step by step
    • Просмотр профиля
А лог медленных запросов включить в myqsl ?

*

Оффлайн vitzer

А лог медленных запросов включить в myqsl ?
Было выключено, сейчас включил, поставил 3. Но в этом ли дело, если проблема возникает только по субботам?

*

Оффлайн vitzer

Снова начались проблемы. Но!
Неделю назад свистопляски прекратились после одного занимательного момента. Я решил скачать полную резервную копию из хранилища. Как только в браузере открылась новая вкладка с круглым значком панели ISP и надписью: "Подождите, скачивание скоро начнется", я передумал и закрыл вкладку. Скачивание так и не началось, а значение расходуемой памяти в информации о системе и на графике упало до привычных 16 Мб. Этого мне хватило до сегодняшнего дня.
И знаете что?
Я провернул этот фокус и сейчас. Значения потребляемой памяти упали до тех же 16 Мб.
Чувствую где-то меня "нае", но не пойму где. Как это можно объяснить?
Во вложении график панели и данные atop в момент максимального затупа (тогда же поползли записи в лог медленных запросов) и после "чудо фокуса".
« Последнее редактирование: 03.03.2017, 22:45:40 от vitzer »

Ну по вашим графикам память жрет антивирус.

*

Оффлайн vitzer

Ну по вашим графикам память жрет антивирус.
Он и сейчас жрет, но сайт не тупит. Возможно дело в чем-то другом. А в чем не понятно (по крайней мере, мне).
Придется значит использовать "ахалай-махалай", пока совсем не загнется.
« Последнее редактирование: 06.03.2017, 14:51:54 от vitzer »

Посмотрите планировщик, может по субботам что запускается.
Что значит сайт тупит?
Включите дебаг, смотрите куда идёт затуп: в бд, исполнение кода либо вообще сетевое подключение.
Завтра как раз время смотреть результаты.

*

Оффлайн capricorn

То, что демон clamd потребляет RAM в районе 15% это нормально. По крайней мере у меня так же.

Судя по графику у вас произошел скачок где-то в районе 18:00 2017-03-03

На скриншоте от 2017/03/03 17:40:02 в строке MEM tot 3.0 GB, free 1,6GB, cache 789,9MB. Если вы заметили, на 2-х других скриншотах первое равно сумме двух других.

У меня потребление памяти сервера изменяется суточно циклически примерно от 25% до 75%. Когда работает в cron clamav оно растет до 100%, возвращаясь назад после сканирования.

Посмотрите растет ли кол-во операций ввода-вывода в такие моменты. Если да, то это нормально.

"Фокус" ваш можно объяснить тем, что произошел перезапуск служб сервера при попытке восстановить образ, если вы это имели ввиду под "скачать". На мой взгляд спотыкается MySQL - думаю роста IO у вас нет. Какие именно SQL запросы попадают в лог медленных? И покажите график за месяц.




*

Оффлайн vitzer

То, что демон clamd потребляет RAM в районе 15% это нормально. По крайней мере у меня так же.

Судя по графику у вас произошел скачок где-то в районе 18:00 2017-03-03

На скриншоте от 2017/03/03 17:40:02 в строке MEM tot 3.0 GB, free 1,6GB, cache 789,9MB. Если вы заметили, на 2-х других скриншотах первое равно сумме двух других.

У меня потребление памяти сервера изменяется суточно циклически примерно от 25% до 75%. Когда работает в cron clamav оно растет до 100%, возвращаясь назад после сканирования.

Посмотрите растет ли кол-во операций ввода-вывода в такие моменты. Если да, то это нормально.

"Фокус" ваш можно объяснить тем, что произошел перезапуск служб сервера при попытке восстановить образ, если вы это имели ввиду под "скачать". На мой взгляд спотыкается MySQL - думаю роста IO у вас нет. Какие именно SQL запросы попадают в лог медленных? И покажите график за месяц.
Тоже заметил, что в момент затупов сумма памяти не бъется, а в логах медленных запросов появляются записи, но не всегда.
К сожалению график выводить за месяц не умею, только то что в панели.
Логи медленных запросов сейчас вложу. В них я еще не разобрался.
Все-таки вряд ли база ломается по пятницам, а потом чиниться по воскресеньям. Да и в записях есть некоторая цикличность времени.
« Последнее редактирование: 06.03.2017, 14:52:38 от vitzer »

*

Оффлайн capricorn

в логе такие времена (в основном таблица сессий)

[spoiler]# Time: 170301  3:01:26
# Time: 170301  3:04:02
# Time: 170301  3:04:06
# Time: 170301  3:04:12
# Time: 170301  3:04:14
# Time: 170301  3:04:16
# Time: 170301  3:04:19
# Time: 170301  3:04:22
# Time: 170301  3:04:26
# Time: 170301  3:04:30
# Time: 170301  3:21:07
# Time: 170301  3:21:10
# Time: 170301  3:21:12
# Time: 170301  3:21:16
# Time: 170301  3:21:20
# Time: 170301  3:21:24
# Time: 170302  0:25:14
# Time: 170302  0:25:16
# Time: 170302  0:34:14
# Time: 170302  0:47:03
# Time: 170302  0:47:04
# Time: 170302  0:47:12
# Time: 170302  0:47:13
# Time: 170302  3:00:47
# Time: 170302  3:16:42
# Time: 170302  3:16:44
# Time: 170302  3:16:48
# Time: 170302  3:16:51
# Time: 170302  3:16:53
# Time: 170302  3:16:56
# Time: 170302  3:16:57
# Time: 170303  3:11:22
# Time: 170303  3:11:56
# Time: 170303  3:12:11
# Time: 170303  3:12:12
# Time: 170303  3:12:17
# Time: 170303  3:12:29
# Time: 170303  3:12:31
# Time: 170303  3:14:22
# Time: 170303  3:14:40
# Time: 170303  3:14:44
# Time: 170303 15:14:01
# Time: 170303 15:14:02
# Time: 170303 15:14:07
# Time: 170303 15:14:09
# Time: 170303 15:14:12
# Time: 170303 15:14:14
# Time: 170303 15:14:17
# Time: 170303 15:14:19
# Time: 170303 15:14:23
# Time: 170303 15:14:27
# Time: 170303 15:14:29
# Time: 170303 16:51:02
# Time: 170303 16:53:10
# Time: 170303 16:55:41
# Time: 170303 17:01:31
# Time: 170303 17:05:41
# Time: 170303 17:09:14
# Time: 170303 17:21:32
# Time: 170303 17:21:33
# Time: 170303 17:21:36
# Time: 170303 17:21:39
# Time: 170303 17:21:40
# Time: 170303 17:21:45
# Time: 170303 17:21:47
# Time: 170303 17:21:50
# Time: 170303 17:21:51
# Time: 170303 17:21:57
# Time: 170303 17:21:58
# Time: 170303 17:22:05
# Time: 170303 17:22:09
# Time: 170303 17:22:21
# Time: 170303 17:22:23
# Time: 170303 17:22:24
# Time: 170303 17:22:25
# Time: 170303 17:22:59
# Time: 170303 17:23:05
# Time: 170303 17:23:06
# Time: 170303 17:23:23
# Time: 170303 17:23:31
# Time: 170303 17:23:35
# Time: 170303 17:23:40
# Time: 170303 17:23:41
# Time: 170303 17:23:57
# Time: 170303 17:23:58
# Time: 170303 17:24:37
# Time: 170303 17:24:40
# Time: 170303 17:24:47
# Time: 170303 17:24:54
# Time: 170303 17:24:57
# Time: 170303 17:25:47
# Time: 170303 17:25:48
# Time: 170303 17:25:50
# Time: 170303 17:26:00
# Time: 170303 19:34:32
# Time: 170303 19:34:33
# Time: 170303 19:34:50
# Time: 170303 19:34:58
# Time: 170303 19:35:02
# Time: 170303 19:35:04
# Time: 170303 19:36:00
# Time: 170303 19:36:03
# Time: 170304  0:01:48
# Time: 170304  0:01:51
# Time: 170304  0:01:53
# Time: 170304  0:02:00
# Time: 170304  0:02:07
# Time: 170304  0:02:12
# Time: 170304  0:02:42
# Time: 170304  0:02:46
# Time: 170304  0:03:25
# Time: 170304  0:03:43
# Time: 170304  0:03:49
# Time: 170304  0:03:54
# Time: 170304  0:03:59
# Time: 170304  0:04:03
# Time: 170304  0:04:06
# Time: 170304  0:04:08
# Time: 170304  0:04:42
# Time: 170304  0:04:44
# Time: 170304  0:04:48
# Time: 170304  0:04:49
# Time: 170304  0:05:04
# Time: 170304  0:05:10
# Time: 170304  0:05:14
# Time: 170304  0:05:18
# Time: 170304  0:05:23
# Time: 170304  0:05:26
# Time: 170304  0:05:30
# Time: 170304  0:05:38
# Time: 170304  0:05:46
# Time: 170304  0:05:51
# Time: 170304  0:06:38
# Time: 170304  0:06:45
# Time: 170304  0:06:48
# Time: 170304  0:06:51
# Time: 170304  0:06:52
# Time: 170304  0:06:57
# Time: 170304  0:07:00
# Time: 170304  0:07:08
# Time: 170304  0:07:13
# Time: 170304  0:07:14
# Time: 170304  0:07:17
# Time: 170304  0:07:22
# Time: 170304  0:07:23
# Time: 170304  0:07:57
# Time: 170304  0:24:37
# Time: 170304  0:24:41
# Time: 170304  0:24:45
# Time: 170304  0:24:47
# Time: 170304  0:25:05
# Time: 170304  0:25:13
# Time: 170304  0:25:17
# Time: 170304  0:25:20
# Time: 170304  0:25:21
# Time: 170304  0:25:27
# Time: 170304  0:25:28[/spoiler]

Это не сходится с периодичностью "по пятницам". Уточните периодичность сбоев.

Также проверьте таблицу content, например

[spoiler]# Time: 170303 19:34:32
# User@Host: vvm-auto[vvm-auto] @ localhost []
# Query_time: 3.723243  Lock_time: 0.000237 Rows_sent: 0  Rows_examined: 1168
SET timestamp=1488558872;
SELECT a.id,a.title,CAST(a.created AS DATE) as created,a.catid,a.language,cc.access AS cat_access,cc.published AS cat_state, CASE WHEN CHAR_LENGTH(a.alias)!= 0 THEN CONCAT_WS(':', a.id, a.alias) ELSE a.id END as slug, CASE WHEN CHAR_LENGTH(cc.alias)!= 0 THEN CONCAT_WS(':', cc.id, cc.alias) ELSE cc.id END as catslug
FROM vgisr_content AS a
LEFT JOIN vgisr_content_frontpage AS f ON f.content_id = a.id
LEFT JOIN vgisr_categories AS cc ON cc.id = a.catid
WHERE a.id != 1162 AND a.state = 1 AND a.access IN (1,1) AND (a.metakey LIKE '%nissan maxima%') AND (a.publish_up = '0000-00-00 00:00:00' OR a.publish_up <= '2017-03-03 16:34:28') AND (a.publish_down = '0000-00-00 00:00:00' OR a.publish_down >= '2017-03-03 16:34:28') LIMIT 5;[/spoiler]

Посмотрите по id что находится там.

« Последнее редактирование: 04.03.2017, 04:42:00 от capricorn »

*

Оффлайн vitzer

в логе такие времена (в основном таблица сессий)
Это не сходится с периодичностью "по пятницам". Уточните периодичность сбоев.
В списке видно, что медленные запросы массово поползли именно в пятницу, а до этого проскакивали всего несколько раз. Причем именно в это время на графиках начинается рост, а по atop не бъется сумма памяти.

Цитировать
Также проверьте таблицу content, например
Посмотрите по id что находится там.
Здесь находится статья. А что посмотреть, не совсем понял http://vvm-auto.ru/nissan/1162-nissan-maxima-a32.
« Последнее редактирование: 04.03.2017, 11:22:58 от vitzer »

*

Оффлайн capricorn

Цитировать
Здесь находится статья. А что посмотреть, не совсем понял http://vvm-auto.ru/nissan/1162-nissan-maxima-a32.

Это единственная статья, которая попала в лог медленных запросов? Попадает ли она регулярно в него?

*

Оффлайн vitzer

Это единственная статья, которая попала в лог медленных запросов? Попадает ли она регулярно в него?
Сейчас лог медленных запросов чист, а сайт летает.
Скорей всего сайт тупит из-за проблем с сервером. Каких именно пытаются выяснить в тех поддержке.
Погуглив и пообщавшись на форумах, предполагаю что все дело в общей нагрузке на сервер.
Предложили переехать на другую машину, чтобы убедиться что косяк не в сайте.

*

Оффлайн vipiusss

  • ********
  • 5844
  • [+]324 / [-]10
  • Пол: Мужской
  • Skype: renor_
    • Просмотр профиля
Сколько сайт весит? Могу бесплатно дать по тестировать у себя (залить клон ко мне) и проверить нагрузки, мой хост полные логи отдаёт с объяснениями.
[spoiler]Песню вспомнил Слепакова: "Каждую пятницу я в гавно, но каждый понедельник я огурцом!"


Так и ваш сайт. Только по субботам)))[/spoiler]

// Про нагрузку - меня CPU load: 7% от ядра IntelCore третьего поколения (Xeon E3430) на виртуальном. Панель - ISPManager.
« Последнее редактирование: 06.03.2017, 09:57:48 от vipiusss »
Миграция, установка, обновление версий Joomla  |  Создание сайтов "под ключ"  |  Эксклюзивные заглушки "offline"  |  Работа с "напильником" над шаблонами и расширениями

*

Оффлайн yuri-it

1. Смотрим iotop. Проверяем SMART на предмет ошибок чтения/записи на диск.
2. Смотрим mytop.
3. Возможно в это время происходит создание резервной копии сайтов (впс), серверов у хостера и т.п.

Уверен, что медленные запросы тут не причем.
Оптимизация сайтов, удаление вирусов, настройка серверов, выгодный хостинг.
По-настоящему быстрый хостинг для Joomla : http://jehost.ru
Отзывы: http://joomlaforum.ru/index.php/topic,109288.0.html
skype: yuri-it

Кламав Вам не нужен. Избавьтесь от него: его назначение - фильтрация почты на предмет вирусов, написанных под винду. А на винде есть свои антивирусы, тот же security essential бесплатный, сканирующий почту при получении. Он от шеллов Вас не защитит все равно. А отжирает он действительно много, когда форкается.
Ставь лайк, если согласен, и делай репост!

  => мои публикации
    => мои работы
      => спектр моих услуг

*

Оффлайн ChaosHead

Возможно ваши соседи по vps по субботам что-то делают ресурсозатратное и это сказывается на вас.

*

Оффлайн vitzer

Кламав Вам не нужен. Избавьтесь от него: его назначение - фильтрация почты на предмет вирусов, написанных под винду. А на винде есть свои антивирусы, тот же security essential бесплатный, сканирующий почту при получении. Он от шеллов Вас не защитит все равно. А отжирает он действительно много, когда форкается.
Clamav по настоянию тех поддержки я отключил и затем полностью удалил. Но ситуация не изменилась. Жду ответа тех поддержки. Что-то они там долго выясняют. Если скажут, что у них все ок, то перееду на новую "машину".

*

Оффлайн vitzer

Ну что, кое что прояснилось.
Ответ тех поддержки hc.ru:
Цитировать
По результатам выполненной проверки, каких-либо неполадок и аномалий на самом физическом сервере не выявлено.
По субботам каждую неделю выполняется бэкапирование на сервере, но это не должно столь значительно влиять на потребление памяти и работу сайтов на отдельно взятом VPS-контейнере. Вероятно, это происходит вкупе с не малым потреблением оперативной памяти на Вашем виртуальном сервере и/или неоптимальной настройкой сайтов, размещенных на нём.
Как считаете? Сайт действительно не оптимизирован для 17 000 посещений в сутки (по ЯМетрике).
« Последнее редактирование: 07.03.2017, 15:35:13 от vitzer »

А http логи смотрели? Может, в это время приходит какой-нибудь бот и форсит все ваши страницы?
Ставь лайк, если согласен, и делай репост!

  => мои публикации
    => мои работы
      => спектр моих услуг

*

Оффлайн vitzer

А http логи смотрели? Может, в это время приходит какой-нибудь бот и форсит все ваши страницы?
Бот то приходит, и далеко не один, и ведут они себя неприлично. Но количество запросов одинаковое: что в будни, что в выходные.
Сегодня переезд на другую машину. Посмотрим, что изменится.
« Последнее редактирование: 07.03.2017, 17:28:09 от vitzer »

Цитировать
По результатам выполненной проверки, каких-либо неполадок и аномалий на самом физическом сервере не выявлено.

Ну да, они признаются как-будто в том, что у них есть какие-то неполадки, счас! Я однажды на новом VPS, на котором не было ни одного сайта получил:

"Cannot allocate memory".

Затем меня переместили на другую ноду, и такого безобразия не повторялось.
Ставь лайк, если согласен, и делай репост!

  => мои публикации
    => мои работы
      => спектр моих услуг

*

Оффлайн vitzer

Затем меня переместили на другую ноду, и такого безобразия не повторялось.
Переместили на другой сервер, и проблема исчезла.

*

Оффлайн vipiusss

  • ********
  • 5844
  • [+]324 / [-]10
  • Пол: Мужской
  • Skype: renor_
    • Просмотр профиля
Переместили на другой сервер, и проблема исчезла.
О чём я и писал выше и предлагал изменить и проверить, проблема в сервере.
А вот что там у них-это надо анализ делать самим айтишникам.
Миграция, установка, обновление версий Joomla  |  Создание сайтов "под ключ"  |  Эксклюзивные заглушки "offline"  |  Работа с "напильником" над шаблонами и расширениями