Каждую субботу тупит сайт или сервер - Хостинг для Joomla

Ну вот прошла очередная суббота с непонятным багом.

Предыстория.
Уже больше месяца не могут разобраться с проблемой. После переезда на VPS каждую пятницу начинает тупить сайт/сервер, достигая пика в субботу. В воскресенье проблема уходит, и сайт начинает летать. Для простоты понимания время ответа сервера во вложении.

Причину найти не удалось. Все потребляемые ресурсы в пределах разрешенных. Сегодня Вс и сайт снова заработал, как прежде. Объемы потребляемых ресурсов и сами процессы, что в дни проблем, что в будни - одинаковые (судя по top и htop). Однако на графиках в панели ISP в эти дни расход оперативной памяти увеличивается (вложение 2).

Сравнил задачи в процессах - никаких изменений. Тех поддержка заявляет, что с их стороны все в порядке.

В планировщике стояла задача еженедельного сканирования вирусов Clamav в ночь с Пт на Сб, но я ее оставлял неактивной, а вчера и вовсе удалил.
В логах ошибок нет.

Куда копать в следующую субботу?

А лог медленных запросов включить в myqsl ?

А лог медленных запросов включить в myqsl ?

Было выключено, сейчас включил, поставил 3. Но в этом ли дело, если проблема возникает только по субботам?

Снова начались проблемы. Но!
Неделю назад свистопляски прекратились после одного занимательного момента. Я решил скачать полную резервную копию из хранилища. Как только в браузере открылась новая вкладка с круглым значком панели ISP и надписью: "Подождите, скачивание скоро начнется", я передумал и закрыл вкладку. Скачивание так и не началось, а значение расходуемой памяти в информации о системе и на графике упало до привычных 16 Мб. Этого мне хватило до сегодняшнего дня.
И знаете что?
Я провернул этот фокус и сейчас. Значения потребляемой памяти упали до тех же 16 Мб.
Чувствую где-то меня "нае", но не пойму где. Как это можно объяснить?
Во вложении график панели и данные atop в момент максимального затупа (тогда же поползли записи в лог медленных запросов) и после "чудо фокуса".

Ну по вашим графикам память жрет антивирус.

Ну по вашим графикам память жрет антивирус.

Он и сейчас жрет, но сайт не тупит. Возможно дело в чем-то другом. А в чем не понятно (по крайней мере, мне).
Придется значит использовать "ахалай-махалай", пока совсем не загнется.

Посмотрите планировщик, может по субботам что запускается.
Что значит сайт тупит?
Включите дебаг, смотрите куда идёт затуп: в бд, исполнение кода либо вообще сетевое подключение.
Завтра как раз время смотреть результаты.

То, что демон clamd потребляет RAM в районе 15% это нормально. По крайней мере у меня так же.

Судя по графику у вас произошел скачок где-то в районе 18:00 2017-03-03

На скриншоте от 2017/03/03 17:40:02 в строке MEM tot 3.0 GB, free 1,6GB, cache 789,9MB. Если вы заметили, на 2-х других скриншотах первое равно сумме двух других.

У меня потребление памяти сервера изменяется суточно циклически примерно от 25% до 75%. Когда работает в cron clamav оно растет до 100%, возвращаясь назад после сканирования.

Посмотрите растет ли кол-во операций ввода-вывода в такие моменты. Если да, то это нормально.

"Фокус" ваш можно объяснить тем, что произошел перезапуск служб сервера при попытке восстановить образ, если вы это имели ввиду под "скачать". На мой взгляд спотыкается MySQL - думаю роста IO у вас нет. Какие именно SQL запросы попадают в лог медленных? И покажите график за месяц.

То, что демон clamd потребляет RAM в районе 15% это нормально. По крайней мере у меня так же.

Судя по графику у вас произошел скачок где-то в районе 18:00 2017-03-03

На скриншоте от 2017/03/03 17:40:02 в строке MEM tot 3.0 GB, free 1,6GB, cache 789,9MB. Если вы заметили, на 2-х других скриншотах первое равно сумме двух других.

У меня потребление памяти сервера изменяется суточно циклически примерно от 25% до 75%. Когда работает в cron clamav оно растет до 100%, возвращаясь назад после сканирования.

Посмотрите растет ли кол-во операций ввода-вывода в такие моменты. Если да, то это нормально.

"Фокус" ваш можно объяснить тем, что произошел перезапуск служб сервера при попытке восстановить образ, если вы это имели ввиду под "скачать". На мой взгляд спотыкается MySQL - думаю роста IO у вас нет. Какие именно SQL запросы попадают в лог медленных? И покажите график за месяц.

Тоже заметил, что в момент затупов сумма памяти не бъется, а в логах медленных запросов появляются записи, но не всегда.
К сожалению график выводить за месяц не умею, только то что в панели.
Логи медленных запросов сейчас вложу. В них я еще не разобрался.
Все-таки вряд ли база ломается по пятницам, а потом чиниться по воскресеньям. Да и в записях есть некоторая цикличность времени.

в логе такие времена (в основном таблица сессий)


Это не сходится с периодичностью "по пятницам". Уточните периодичность сбоев.

Также проверьте таблицу content, например


Посмотрите по id что находится там.

в логе такие времена (в основном таблица сессий)
Это не сходится с периодичностью "по пятницам". Уточните периодичность сбоев.

В списке видно, что медленные запросы массово поползли именно в пятницу, а до этого проскакивали всего несколько раз. Причем именно в это время на графиках начинается рост, а по atop не бъется сумма памяти.

Также проверьте таблицу content, например
Посмотрите по id что находится там.

Здесь находится статья. А что посмотреть, не совсем понял http://vvm-auto.ru/nissan/1162-nissan-maxima-a32.

Здесь находится статья. А что посмотреть, не совсем понял http://vvm-auto.ru/nissan/1162-nissan-maxima-a32.

Это единственная статья, которая попала в лог медленных запросов? Попадает ли она регулярно в него?

Это единственная статья, которая попала в лог медленных запросов? Попадает ли она регулярно в него?

Сейчас лог медленных запросов чист, а сайт летает.
Скорей всего сайт тупит из-за проблем с сервером. Каких именно пытаются выяснить в тех поддержке.
Погуглив и пообщавшись на форумах, предполагаю что все дело в общей нагрузке на сервер.
Предложили переехать на другую машину, чтобы убедиться что косяк не в сайте.

Сколько сайт весит? Могу бесплатно дать по тестировать у себя (залить клон ко мне) и проверить нагрузки, мой хост полные логи отдаёт с объяснениями.

// Про нагрузку - меня CPU load: 7% от ядра IntelCore третьего поколения (Xeon E3430) на виртуальном. Панель - ISPManager.

1. Смотрим iotop. Проверяем SMART на предмет ошибок чтения/записи на диск.
2. Смотрим mytop.
3. Возможно в это время происходит создание резервной копии сайтов (впс), серверов у хостера и т.п.

Уверен, что медленные запросы тут не причем.

Кламав Вам не нужен. Избавьтесь от него: его назначение - фильтрация почты на предмет вирусов, написанных под винду. А на винде есть свои антивирусы, тот же security essential бесплатный, сканирующий почту при получении. Он от шеллов Вас не защитит все равно. А отжирает он действительно много, когда форкается.

Возможно ваши соседи по vps по субботам что-то делают ресурсозатратное и это сказывается на вас.

Кламав Вам не нужен. Избавьтесь от него: его назначение - фильтрация почты на предмет вирусов, написанных под винду. А на винде есть свои антивирусы, тот же security essential бесплатный, сканирующий почту при получении. Он от шеллов Вас не защитит все равно. А отжирает он действительно много, когда форкается.

Clamav по настоянию тех поддержки я отключил и затем полностью удалил. Но ситуация не изменилась. Жду ответа тех поддержки. Что-то они там долго выясняют. Если скажут, что у них все ок, то перееду на новую "машину".

Ну что, кое что прояснилось.
Ответ тех поддержки hc.ru:

По результатам выполненной проверки, каких-либо неполадок и аномалий на самом физическом сервере не выявлено.
По субботам каждую неделю выполняется бэкапирование на сервере, но это не должно столь значительно влиять на потребление памяти и работу сайтов на отдельно взятом VPS-контейнере. Вероятно, это происходит вкупе с не малым потреблением оперативной памяти на Вашем виртуальном сервере и/или неоптимальной настройкой сайтов, размещенных на нём.

Как считаете? Сайт действительно не оптимизирован для 17 000 посещений в сутки (по ЯМетрике).

А http логи смотрели? Может, в это время приходит какой-нибудь бот и форсит все ваши страницы?

А http логи смотрели? Может, в это время приходит какой-нибудь бот и форсит все ваши страницы?

Бот то приходит, и далеко не один, и ведут они себя неприлично. Но количество запросов одинаковое: что в будни, что в выходные.
Сегодня переезд на другую машину. Посмотрим, что изменится.

По результатам выполненной проверки, каких-либо неполадок и аномалий на самом физическом сервере не выявлено.

Ну да, они признаются как-будто в том, что у них есть какие-то неполадки, счас! Я однажды на новом VPS, на котором не было ни одного сайта получил:

"Cannot allocate memory".

Затем меня переместили на другую ноду, и такого безобразия не повторялось.

Затем меня переместили на другую ноду, и такого безобразия не повторялось.

Переместили на другой сервер, и проблема исчезла.

Переместили на другой сервер, и проблема исчезла.

О чём я и писал выше и предлагал изменить и проверить, проблема в сервере.
А вот что там у них-это надо анализ делать самим айтишникам.