0 Пользователей и 1 Гость просматривают эту тему.
  • 23 Ответов
  • 656 Просмотров
*

vitzer

  • Давно я тут
  • 253
  • 4
Ну вот прошла очередная суббота с непонятным багом.

Предыстория.
Уже больше месяца не могут разобраться с проблемой. После переезда на VPS каждую пятницу начинает тупить сайт/сервер, достигая пика в субботу. В воскресенье проблема уходит, и сайт начинает летать. Для простоты понимания время ответа сервера во вложении.

Причину найти не удалось. Все потребляемые ресурсы в пределах разрешенных. Сегодня Вс и сайт снова заработал, как прежде. Объемы потребляемых ресурсов и сами процессы, что в дни проблем, что в будни - одинаковые (судя по top и htop). Однако на графиках в панели ISP в эти дни расход оперативной памяти увеличивается (вложение 2).

Сравнил задачи в процессах - никаких изменений. Тех поддержка заявляет, что с их стороны все в порядке.

В планировщике стояла задача еженедельного сканирования вирусов Clamav в ночь с Пт на Сб, но я ее оставлял неактивной, а вчера и вовсе удалил.
В логах ошибок нет.

Куда копать в следующую субботу?
*

draff

  • Практически профи
  • 2769
  • 171
  • step by step
А лог медленных запросов включить в myqsl ?
*

vitzer

  • Давно я тут
  • 253
  • 4
А лог медленных запросов включить в myqsl ?
Было выключено, сейчас включил, поставил 3. Но в этом ли дело, если проблема возникает только по субботам?
*

vitzer

  • Давно я тут
  • 253
  • 4
Снова начались проблемы. Но!
Неделю назад свистопляски прекратились после одного занимательного момента. Я решил скачать полную резервную копию из хранилища. Как только в браузере открылась новая вкладка с круглым значком панели ISP и надписью: "Подождите, скачивание скоро начнется", я передумал и закрыл вкладку. Скачивание так и не началось, а значение расходуемой памяти в информации о системе и на графике упало до привычных 16 Мб. Этого мне хватило до сегодняшнего дня.
И знаете что?
Я провернул этот фокус и сейчас. Значения потребляемой памяти упали до тех же 16 Мб.
Чувствую где-то меня "нае", но не пойму где. Как это можно объяснить?
Во вложении график панели и данные atop в момент максимального затупа (тогда же поползли записи в лог медленных запросов) и после "чудо фокуса".
« Последнее редактирование: 03.03.2017, 20:45:40 от vitzer »
*

ProtectYourSite

  • Живу я здесь
  • 944
  • 49
  • Безопасность вебсайтов
Ну по вашим графикам память жрет антивирус.
*

vitzer

  • Давно я тут
  • 253
  • 4
Ну по вашим графикам память жрет антивирус.
Он и сейчас жрет, но сайт не тупит. Возможно дело в чем-то другом. А в чем не понятно (по крайней мере, мне).
Придется значит использовать "ахалай-махалай", пока совсем не загнется.
« Последнее редактирование: 06.03.2017, 12:51:54 от vitzer »
*

ProtectYourSite

  • Живу я здесь
  • 944
  • 49
  • Безопасность вебсайтов
Посмотрите планировщик, может по субботам что запускается.
Что значит сайт тупит?
Включите дебаг, смотрите куда идёт затуп: в бд, исполнение кода либо вообще сетевое подключение.
Завтра как раз время смотреть результаты.
*

capricorn

  • Практически профи
  • 1669
  • 107
То, что демон clamd потребляет RAM в районе 15% это нормально. По крайней мере у меня так же.

Судя по графику у вас произошел скачок где-то в районе 18:00 2017-03-03

На скриншоте от 2017/03/03 17:40:02 в строке MEM tot 3.0 GB, free 1,6GB, cache 789,9MB. Если вы заметили, на 2-х других скриншотах первое равно сумме двух других.

У меня потребление памяти сервера изменяется суточно циклически примерно от 25% до 75%. Когда работает в cron clamav оно растет до 100%, возвращаясь назад после сканирования.

Посмотрите растет ли кол-во операций ввода-вывода в такие моменты. Если да, то это нормально.

"Фокус" ваш можно объяснить тем, что произошел перезапуск служб сервера при попытке восстановить образ, если вы это имели ввиду под "скачать". На мой взгляд спотыкается MySQL - думаю роста IO у вас нет. Какие именно SQL запросы попадают в лог медленных? И покажите график за месяц.



*

vitzer

  • Давно я тут
  • 253
  • 4
То, что демон clamd потребляет RAM в районе 15% это нормально. По крайней мере у меня так же.

Судя по графику у вас произошел скачок где-то в районе 18:00 2017-03-03

На скриншоте от 2017/03/03 17:40:02 в строке MEM tot 3.0 GB, free 1,6GB, cache 789,9MB. Если вы заметили, на 2-х других скриншотах первое равно сумме двух других.

У меня потребление памяти сервера изменяется суточно циклически примерно от 25% до 75%. Когда работает в cron clamav оно растет до 100%, возвращаясь назад после сканирования.

Посмотрите растет ли кол-во операций ввода-вывода в такие моменты. Если да, то это нормально.

"Фокус" ваш можно объяснить тем, что произошел перезапуск служб сервера при попытке восстановить образ, если вы это имели ввиду под "скачать". На мой взгляд спотыкается MySQL - думаю роста IO у вас нет. Какие именно SQL запросы попадают в лог медленных? И покажите график за месяц.
Тоже заметил, что в момент затупов сумма памяти не бъется, а в логах медленных запросов появляются записи, но не всегда.
К сожалению график выводить за месяц не умею, только то что в панели.
Логи медленных запросов сейчас вложу. В них я еще не разобрался.
Все-таки вряд ли база ломается по пятницам, а потом чиниться по воскресеньям. Да и в записях есть некоторая цикличность времени.
« Последнее редактирование: 06.03.2017, 12:52:38 от vitzer »
*

capricorn

  • Практически профи
  • 1669
  • 107
в логе такие времена (в основном таблица сессий)

Спойлер
[свернуть]

Это не сходится с периодичностью "по пятницам". Уточните периодичность сбоев.

Также проверьте таблицу content, например

Спойлер
[свернуть]

Посмотрите по id что находится там.

« Последнее редактирование: 04.03.2017, 02:42:00 от capricorn »
*

vitzer

  • Давно я тут
  • 253
  • 4
в логе такие времена (в основном таблица сессий)
Это не сходится с периодичностью "по пятницам". Уточните периодичность сбоев.
В списке видно, что медленные запросы массово поползли именно в пятницу, а до этого проскакивали всего несколько раз. Причем именно в это время на графиках начинается рост, а по atop не бъется сумма памяти.

Цитировать
Также проверьте таблицу content, например
Посмотрите по id что находится там.
Здесь находится статья. А что посмотреть, не совсем понял http://vvm-auto.ru/nissan/1162-nissan-maxima-a32.
« Последнее редактирование: 04.03.2017, 09:22:58 от vitzer »
*

capricorn

  • Практически профи
  • 1669
  • 107
Цитировать
Здесь находится статья. А что посмотреть, не совсем понял http://vvm-auto.ru/nissan/1162-nissan-maxima-a32.

Это единственная статья, которая попала в лог медленных запросов? Попадает ли она регулярно в него?
*

vitzer

  • Давно я тут
  • 253
  • 4
Это единственная статья, которая попала в лог медленных запросов? Попадает ли она регулярно в него?
Сейчас лог медленных запросов чист, а сайт летает.
Скорей всего сайт тупит из-за проблем с сервером. Каких именно пытаются выяснить в тех поддержке.
Погуглив и пообщавшись на форумах, предполагаю что все дело в общей нагрузке на сервер.
Предложили переехать на другую машину, чтобы убедиться что косяк не в сайте.
*

vipiusss

  • Профи
  • 5583
  • 321
  • Круглая ава-зло!
  • Комплексное оказание услуг по разработке сайтов на Joomla
Сколько сайт весит? Могу бесплатно дать по тестировать у себя (залить клон ко мне) и проверить нагрузки, мой хост полные логи отдаёт с объяснениями.
Спойлер
[свернуть]

// Про нагрузку - меня CPU load: 7% от ядра IntelCore третьего поколения (Xeon E3430) на виртуальном. Панель - ISPManager.
« Последнее редактирование: 06.03.2017, 07:57:48 от vipiusss »
Миграция, установка, обновление версий Joomla  |  Создание сайтов "под ключ"  |  Эксклюзивные заглушки "offline"  |  Работа с "напильником" над шаблонами и расширениями
*

yuri-it

  • Живу я здесь
  • 1061
  • 37
1. Смотрим iotop. Проверяем SMART на предмет ошибок чтения/записи на диск.
2. Смотрим mytop.
3. Возможно в это время происходит создание резервной копии сайтов (впс), серверов у хостера и т.п.

Уверен, что медленные запросы тут не причем.
Оптимизация сайтов, удаление вирусов, настройка серверов, выгодный хостинг.
По-настоящему быстрый хостинг для Joomla : http://jehost.ru
Отзывы: http://joomlaforum.ru/index.php/topic,109288.0.html
skype: yuri-it
*

Филипп Сорокин

  • Практически профи
  • 1814
  • 138
Кламав Вам не нужен. Избавьтесь от него: его назначение - фильтрация почты на предмет вирусов, написанных под винду. А на винде есть свои антивирусы, тот же security essential бесплатный, сканирующий почту при получении. Он от шеллов Вас не защитит все равно. А отжирает он действительно много, когда форкается.
Ставь лайк, если согласен, и делай репост!

  => мои публикации
    => мои работы
      => спектр моих услуг
*

ChaosHead

  • Профи
  • 4732
  • 398
Возможно ваши соседи по vps по субботам что-то делают ресурсозатратное и это сказывается на вас.
*

vitzer

  • Давно я тут
  • 253
  • 4
Кламав Вам не нужен. Избавьтесь от него: его назначение - фильтрация почты на предмет вирусов, написанных под винду. А на винде есть свои антивирусы, тот же security essential бесплатный, сканирующий почту при получении. Он от шеллов Вас не защитит все равно. А отжирает он действительно много, когда форкается.
Clamav по настоянию тех поддержки я отключил и затем полностью удалил. Но ситуация не изменилась. Жду ответа тех поддержки. Что-то они там долго выясняют. Если скажут, что у них все ок, то перееду на новую "машину".
*

vitzer

  • Давно я тут
  • 253
  • 4
Ну что, кое что прояснилось.
Ответ тех поддержки hc.ru:
Цитировать
По результатам выполненной проверки, каких-либо неполадок и аномалий на самом физическом сервере не выявлено.
По субботам каждую неделю выполняется бэкапирование на сервере, но это не должно столь значительно влиять на потребление памяти и работу сайтов на отдельно взятом VPS-контейнере. Вероятно, это происходит вкупе с не малым потреблением оперативной памяти на Вашем виртуальном сервере и/или неоптимальной настройкой сайтов, размещенных на нём.
Как считаете? Сайт действительно не оптимизирован для 17 000 посещений в сутки (по ЯМетрике).
« Последнее редактирование: 07.03.2017, 13:35:13 от vitzer »
*

Филипп Сорокин

  • Практически профи
  • 1814
  • 138
А http логи смотрели? Может, в это время приходит какой-нибудь бот и форсит все ваши страницы?
Ставь лайк, если согласен, и делай репост!

  => мои публикации
    => мои работы
      => спектр моих услуг
*

vitzer

  • Давно я тут
  • 253
  • 4
А http логи смотрели? Может, в это время приходит какой-нибудь бот и форсит все ваши страницы?
Бот то приходит, и далеко не один, и ведут они себя неприлично. Но количество запросов одинаковое: что в будни, что в выходные.
Сегодня переезд на другую машину. Посмотрим, что изменится.
« Последнее редактирование: 07.03.2017, 15:28:09 от vitzer »
*

Филипп Сорокин

  • Практически профи
  • 1814
  • 138
Цитировать
По результатам выполненной проверки, каких-либо неполадок и аномалий на самом физическом сервере не выявлено.

Ну да, они признаются как-будто в том, что у них есть какие-то неполадки, счас! Я однажды на новом VPS, на котором не было ни одного сайта получил:

"Cannot allocate memory".

Затем меня переместили на другую ноду, и такого безобразия не повторялось.
Ставь лайк, если согласен, и делай репост!

  => мои публикации
    => мои работы
      => спектр моих услуг
*

vitzer

  • Давно я тут
  • 253
  • 4
Затем меня переместили на другую ноду, и такого безобразия не повторялось.
Переместили на другой сервер, и проблема исчезла.
*

vipiusss

  • Профи
  • 5583
  • 321
  • Круглая ава-зло!
  • Комплексное оказание услуг по разработке сайтов на Joomla
Переместили на другой сервер, и проблема исчезла.
О чём я и писал выше и предлагал изменить и проверить, проблема в сервере.
А вот что там у них-это надо анализ делать самим айтишникам.
Миграция, установка, обновление версий Joomla  |  Создание сайтов "под ключ"  |  Эксклюзивные заглушки "offline"  |  Работа с "напильником" над шаблонами и расширениями
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться
 

Сайт созданный на CMS Joomla открывается в браузере только с вкл. VPN!

Автор serg7630

Ответов: 3
Просмотров: 466
Последний ответ 20.10.2016, 18:44:23
от serg7630
Как перезалить сайт на хостинг?

Автор Veshirbob

Ответов: 3
Просмотров: 766
Последний ответ 10.06.2016, 06:57:12
от Stasweb
Помогите настроить выделенный сервер (что вообще юзать nginx/apache/fastcgi/mpm_itk?)

Автор NeuroZ

Ответов: 16
Просмотров: 1223
Последний ответ 05.03.2016, 22:37:07
от wishlight
Хостинг Sprinthost и персональный веб-сервер

Автор Андрей Нестеров

Ответов: 7
Просмотров: 795
Последний ответ 15.02.2016, 11:48:13
от yuri-it
Не открывается сайт

Автор Resident234

Ответов: 0
Просмотров: 325
Последний ответ 05.02.2016, 07:48:54
от Resident234