Нагрузка на сервер - Joomla 3.x: Общие вопросы

Здравствуйте!

График нагрузки (хостинг Jino.ru, премиум аккаунт, сервер администрировать не умею) показывает пики нагрузки на MySQL - 125 соединений и 221451 обращений к БД, а то и  158 к 468317 запросов.
ну и Яндекс метрика постоянно шлет письма, что сайт недоступен (No response server 10s)
отладку в Общих настройках включить не удается - вкл и белый экран.
Как найти что производит такую нагрузку?


Joomla 3.6.5.
Vrtuemart 3.2.0
yagendoo шаблон и их модули
(ну и ChronoForms - на одной только странице), Загрузчик прайслистов (вообще работает только из панели управления), JCE).

Логи смотрите

логи какие? я могу лишь access_log смотреть
например на 7:30 утра в графике было 336К запросов и 96 соединений
дальше идет время 7:40
конкретно в 7:30 в логах было всего 14 обращений в эту минуту
с 7:20 до :30 - 126 обращений к сайту

в 1:30 когда вообще было больше 400К запросов к БД - 175 обращений к сайту за 10 предыдущих минут (это если графики Джино строит за 10 минут, все плюсует)

то есть мне надо исследовать все эти 126 (175) обращений к сайту?
но там разные страницы... что же в среднем одна страница делает пару тысяч обращений?

вообще я решила отключить в Общих настройках "Обработчик сессий: База данных". Поставила - Нет.

Включите отображение ошибок и узнаете, почему белый экран был)
Судя по тому, что ВМ - думаю виноват какой модуль категорий, который создаёт уйму лишних запросов.

А в чем суть темы?

Зря автор не читает прошлые подобные темы, где уже всё разжевали, а ждёт ответов по новой

да автор как-то и не нашел в итоге, что разжевали-то
есть похожие темы, они заканчиваются ни на чем

я конечно access.log проанализировала, лишних ботов типа webmeup запретила доступ (они конечно будут лезть с других IP)

показывать ошибки я тоже включила, но ошибки не показываются, и в логе ошибок не отображается ничего - почему вдруг белый экран

и как, кроме отключение компонентов (при неработающем debug режиме) найти то, что создает массу запросов к БД я найти в этом форуме все еще не могу. ПОэтому если вас, уважаемые, специалисты, не затруднит, разжуйте мне еще раз. пожалуйста.

Что бы разжевать, надо знать, в чем проблема. А что бы знать - нужно анализировать ваш сайт. Гадать на гуще и по аватарке тут никто не умеет. А поскольку нет конкретики, нет и ответа.

Нагрузка вырастает по многим причинам - и не оптимизированные запросы, и заход бота, и увеличение посещаемости, и взлом сайта. Что вызывает в вашем случае нагрузку - это и нужно выяснять. Можете вот это попробовать, если правда боты сканируют...

Для начала общие рекомендации:
1) Система - Общие настройки - Система - Настройка кэширования
Кэш - Стандартное кэширование (Прогрессивное медленнее)
Обработчик кэширования - Файл, Redis, Memcache (что даёт хостер, файл медленнее)
Время кэширования  - 30 минут. Или если редко меняете контент, то и до суток.

2) Расширения - Менеджер плагинов
Система Кэш - включить
Использовать кэширование в браузере - Нет

3) И тут я прочитал, что вы пишите

сервер администрировать не умею

И что за премиум аккаунт я не понял, но вроде если про сервер пишите, но наверное vps

Находите того, кто умеет администрировать и в MySQL включаете кэширование запросов:

query_cache_size = 148M
query_cache_limit = 4M
query_cache_type = 1

Потом нужно настроить MySQL под работу с таблицами innodb, которые использует Joomla, по умолчанию он не настроен:

innodb_buffer_pool_size = 1024M
innodb_flush_method = O_DIRECT
innodb_flush_log_at_trx_commit = 2

innodb_buffer_pool_size - самый важный параметр, должен быть более общего размера всех таблиц innodb, и меньше 50-70% доступной оперативной памяти, остальное в Google почитаете.

Тот-же, кто умеет администрировать серверы, пусть запустит phpmyqdmin - Состояние - Советчик
исправляет те узкие места или недостатки в настройке, которые он посоветует.

Вот похожая тема, ближайшее что нашел: http://joomlaforum.ru/index.php/topic,330822.0.html

Спасибо большое, буду работать по рекомендациями.
по кешированию: сейчас на сайте стоит и JCH и JotCache плагины

Кеш стандартное
APC
включено и специфическое кеширование (т.к. есть мобильная версия)

Использовать кеширование в браузере - почему Вы рекомендуете нет? в основном я заметила для сайтов с нагрузкой рекомендуют включать кеширование в браузере...

(да нет, не vps, просто аккаунт с увеличенным запасом ресурсов)

далее да, буду смотреть что смогу сделать по настройкам MySQL
Спасибо!

JCH тестируйте, по моим тестам он даёт снижение скорости ответа сервера. Т.е. страница сайта отдаётся красиво, со сжатыми скриптами, но только медленнее )
Не советую кэшировать в браузере, т.к. потом может случится так, что пользователи будут видеть не то, что отдаёт ваш сайт.

 JCH наоборот когда жмет, дает нагрузку.

Ответ сервера какой при включении отладки?
Вывод отладки вообще прописан в шаблоне?

я могу лишь access_log смотреть

сделайте сами лог ошибок для админ раздела. может там что-то появится при включении режима отладки (белом экране)
заинклудьте файл по ссылке. он создаст файл ошибок.
http://www.vacation-rental-wonderland.com/owner-advice/web-design/create-error-logs-1and1/

я бы вообще все кэширование для начала отключил - в шаблоне, плагины, в настройках.

Ответ сервера какой при включении отладки?
Вывод отладки вообще прописан в шаблоне?

хм, а как узнать? -)


спасибо еще раз за рекомендации! (работы продолжаются, посмотрела и phpMyAdmin советчик... там советов.... штук 20 -(( и на стороне хостинга, и на стороне таблиц Joomla.

по нагрузке отключила модуль вывода категорий VirtueMart. конечно же это он давал тысячи запросов. Как только отключила, так вместо 2400 запросов на 1 соединение стало в среднем 70 на 1. круто однако... но модуль вывода категорий нужен ведь (пока написала на HTML просто список первого уровня иерархии прайс-листа, но было 3, и надо бы 3... раскрывающихся... раньше был offlajn, потом поставила от авторов шаблона... но и то и другое в общем-то дают много запросов).

и подскажите еще, пожалуйста, что это такое в access логе
GET /index.php?option=com_ajax&format=json HTTP/1.0" 200 60
(я вот со своего IP вижу, как я что-то делаю на сайте, и постоянно эта строчка отражается в логе)

Вот поэтому мы и не используем VirtueMart

Вот поэтому мы и не используем VirtueMart

а что вместо него?


а вот ответ хостера:
У Вас используется не MySQL, а mariaDB сервер, установлена последняя стабильная версия: 10.1.22-MariaDB Что касается остальных настроек: Указанные значения выбраны администратором сервера для повышения производительности сервера и являются оптимальными в рамках виртуального хостинга, при этом негативного влияния на производительность это не оказывает.
а там в замечаниях и MySQL 5.1 версии, и настройки ниже тех, что Вы рекомендовали ( ваши рекомендации: query_cache_size = 148M
query_cache_limit = 4M
query_cache_type = 1

innodb_buffer_pool_size = 1024M
innodb_flush_method = O_DIRECT
innodb_flush_log_at_trx_commit = 2)

там все ниже -(
и это вот премиум аккаунт на Джино -)

Переделайте вывод категорий через пункты меню, если не хотите переходить на другой магазин.

да может и имеет смысл перейти на другой магазин. только на какой? вот интересен ответ voland'a -)

и погружаясь в эти все серверные фишки, стало интересно. вот Joomla написана с требованием MySQL+InnoDB
но джино хостинг использует форки движка MySQL - MariaDB и Percona
как они вообще влияют на производительность больших сайтов с большой нагрузкой?

да может и имеет смысл перейти на другой магазин. только на какой? вот интересен ответ voland'a -)

и погружаясь в эти все серверные фишки, стало интересно. вот Joomla написана с требованием MySQL+InnoDB
но джино хостинг использует форки движка MySQL - MariaDB и Percona
как они вообще влияют на производительность больших сайтов с большой нагрузкой?

ИМХО магазин нормальный стоит делать не на Joomla
В крайнем случае - любой кроме Виртумарт. Ничего особенно не посоветую, но VirtueMart попадает в категорию антисоветов.
Ну а если не столько магазин, сколько каталог - то Zoo\JBZoo, впрочем он уже почти магазин

ИМХО магазин нормальный стоит делать не на Joomla
В крайнем случае - любой кроме Виртумарт. Ничего особенно не посоветую, но VirtueMart попадает в категорию антисоветов.
Ну а если не столько магазин, сколько каталог - то Zoo\JBZoo, впрочем он уже почти магазин

продукты Yoo я тоже люблю. Но "почти магазин" ... не магазин.
Мой-то магазин с 2013г сидит на Joomla+Virtuemart, тогда это был самый распространенный тандем. WooCommers, Magento, OpenCart еще не сильно были развиты в рунете. А это важно, когда делаешь бюджетный сайт.
Сейчас да... развернула вот OpenCart: миленько... красивенько... (правда юзабилити админ панели.... логика... хромает -))) либо у него, либо у меня.

Интересно, есть ли где-нибудь статьи-сравнения движков по запросам к БД и нагрузкам?  будет ли OpenCart шустрее с 5000 товаров чем Вирт?

VirtueMart попадает в категорию антисоветов.

не, Вирт на втором месте самый антисовет из перечисленного - это WooCommers там уже на 500 товаров люди начинают задумываться о выделенном серваке

ТС, по перечисленному имхо: Magento - мощно, но требования к железу и цены тоже мощно. Лично я не вижу смысла, но может кому то и по душе. OpenCart - в целом норм выбор, много расширений, много бесплатных. Платные доработки если понадобятся - цены будут выше чем на Joomla. Ограничен собственно только магазином, остальное можно сделать, но достаточно сложно. WooCommers - уже сказал. Вообще не вариант. Вирт почти там же.

Если в раздумьях - можете посмотреть еще JoomShopping. На Joomla, гораздо легче чем вирт, 5000 товаров вообще для него не объем. Очень легко расширяемый за счет плагинов. По моему мнению разработчики копировали OpenCart. Тоже достаточно много расширений уже создано, как платных, так и бесплатных. Плюс поддержка на этом форуме http://joomlaforum.ru/index.php/board,361.0.html

по нагрузке отключила модуль вывода категорий VirtueMart. конечно же это он давал тысячи запросов. Как только отключила, так вместо 2400 запросов на 1 соединение стало в среднем 70 на 1. круто однако... но модуль вывода категорий нужен ведь (пока написала на HTML просто список первого уровня иерархии прайс-листа, но было 3, и надо бы 3... раскрывающихся... раньше был offlajn, потом поставила от авторов шаблона... но и то и другое в общем-то дают много запросов).

На старых версиях модуль категории переписывали, на новых версиях не слышал, т.к. не сильно интересно, но поищите на новую переписанные или закажите если не найдете, логика не изменилась думаю уже и переписывали его.

Каждый кулик хвалит свое болото. Всегда читаю топики и всегда есть желание высказаться прямо.

voland - Zoo\JBZoo -это такой же комбайн, то что кто то с ним работает это не означает что он лучше, а что то другое хуже, мне и многим на форуме в VirtueMart проще и быстрее разобраться как и в ДЖШ чем в Zoo, работал и с Zoo, и понимаю почему вирт не нравиться, просто видимо личная неприязнь, но если учесть что его используют 60-70% им на Joomla, не стоит его постоянно хаить, просто ради флейма, нет ответа можно и не отмичаться в топике, ни как не защита продукта.

dmitry_stas - JoomShopping - это как и сказано "кулик и болото" без обид, имея магазин на VirtueMart просят помощь (совет же очевиден, или железо увеличить, или доработать), да ДЖШ работает лучше, доработан исключены почти все болячки, расширений много это гуд, но практически все платное, а у вм бесплатное но что то есть косячное, причина известна всем, специально что бы или дорабатывали или заказывали доработку, но разница только в платном и бесплатном, и многие это понимают.

Всегда вопрос возникает по чему ни кто не двигает "русский продукт" типа таких как битрикс, что перевелись патриоты.

siao - поговорите с теми кто с виртом сейчас работает думаю модуль категорий переписать сократив в нем запросы (как в старых версиях до 1 запроса) будет проще, и будет вам счастье. На счет нагрузки, тут может еще её давать одновременное подключение пользователей, и тогда это только править увеличиваю мощность железа.

OpenCart - работает шустрее, но не забывайте про то что любой движок и расширение, вы сами можете установить и настроить так что будет оно "как якорь с ледокола" тормозить весь сайт.

dmitry_stas - JoomShopping - это как и сказано "кулик и болото" без обид, имея магазин на VirtueMart просят помощь (совет же очевиден, или железо увеличить, или доработать)

та какие обиды? никаких обид. мнение о JoomShopping естественно субъективно. но оно так про все будет - всегда все субъективно просто по тексту мне показалось, что девушка готова попробовать что-то другое, поэтому я и написал про ЖШ.

та какие обиды? никаких обид. мнение о JoomShopping естественно субъективно. но оно так про все будет - всегда все субъективно просто по тексту мне показалось, что девушка готова попробовать что-то другое, поэтому я и написал про ЖШ.

Да, мнение про все CMS субъективно, у всех масс тех "кто не в танке".
"Законодатели моды" среди им это Magento и PrestaShop остальные все хорошо слизывают у них из нововведений.
По самому существу все им требуют доработки очень мало из коробки устраивает владельца сайта, есть везде свои плюсы и минусы, но они решаемы, и качественный им все разработчики знают не собрать из коробки нажатием кнопки инсталляции, все равно придется что то пилить. Самый важный минус была интеграция с 1С, но и она уже в рунете давно решилась практически сама собой на многих как специализированных CMS так и на дополнительных расширениях для е-коммерц.
Что на JoomShopping что на VirtueMart крутятся очень хорошие магазины и с большими количествами товарных позиций, оптимизируются они каждый по разному как и по коду так и по железу, вся оптимизация зависит от конкретного случая, но уж точно что бы не иметь проблем в им с фильтром по товарам его однозначно надо размещать сразу на VPS, а если правильно рассматривать любой вариант работы им, то его вообще надо сразу размещать в своей среде с возможностью её настроек т.е. без VPS им не им. Если кто не согласится, то у них и не им, а так витринка на полтора товара и на две колеки заходящих в день, и даже такая витринка может увеличить как и товарные позиции и посещаемость, так и нагрузку на шараду хост, экономия в 5тр/год может нести убытки для владельца им на ххххххх суммы.

"Законодатели моды" среди им это Magento и PrestaShop остальные все хорошо слизывают у них из нововведений.

Это похоже очень мощные системы. Не могу сказать, что VirtueMart плохой, хотя и пришлось под него брать сервер, т.к. на 30 000 товарах он просто не тянул. С 3 GB RAM и настройкой MySQL в принципе работает нормально. Буду наверное на JoomShopping дальше делать - разнообразия хочется. Да и от Joomla уходить не хочется - помимо магазина есть еще и другое. А напильник по любому понадобится.

VirtueMart -- сложная система, в которой глюки, порой, выскакивают там, где их не ждёшь. Однако она живая, постоянно развивается, вокруг неё большое сообщество крутится: а это и шаблоны, и расширения, и прекрасные фильтры на AJAX. Этим он мне и нравится, при всех его недостатках.

Кстати, VM имеет очень гибкое ядро, и можно магазин сделать на чистом системном кэшировании (естественно, не трогая само ядро) -- это вообще снимет львиную долю серверной нагрузки. Вы много магазинов видели, которые работают на полном серверном кэше? А VM это может. Однако для обслуживания магазина на VM требуется хорошие знания и VM, и Joomla!, и вообще навыки программирования должны быть хорошо развиты, иначе ничего путёвого не выйдет.

innodb_flush_log_at_trx_commit = 2

Лучше 0 поставить -- работает много быстрее. Сохранность логов, в принципе, штука бесполезная. Хотя я однажды снёс сайт по ошибке и, как всегда, забыл забэкапится, поэтому пришлось восстанавливать базу клиентов прямиком из логов MySQL -- все записи до единой там присутствовали, я на личном опыте убедился, что это безопасно, поэтому я всегда ставлю 0 для лучшей производительности.

VirtueMart -- сложная система, в которой глюки, порой, выскакивают там, где их не ждёшь. Однако она живая, постоянно развивается, вокруг неё большое сообщество крутится: а это и шаблоны, и расширения, и прекрасные фильтры на AJAX

Да, согласен, сообщество реальное. И фильтр на AJAX есть. Сторонний. Отличная вещь.

Кстати, VM имеет очень гибкое ядро, и можно магазин сделать на чистом системном кэшировании (естественно, не трогая само ядро) -- это вообще снимет львиную долю серверной нагрузки. Вы много магазинов видели, которые работают на полном серверном кэше?

Я не верю в кэширование на уровне сервера для такого рода приложения. Сразу скажу - я не профи. И магазин я делал на версии 1. Но делать тогда верстку для VM - это реально было тяжело. MVC там рядом не лежала. В одном согласен - VM на серьезном уровне требует неплохих знаний. Т.е. это не система для неподготовленных людей.

Что касается настроек MySQL - есть профайлер и прочее, даже есть конфиги в дистрибутивах. Реально, на мой взгляд, нужно дать ему просто много оперативной памяти.