Новости Joomla

Человек на GitHub ускорил Joomla в 600 раз на объёме 150к+ материалов в 1700+ категориях

Человек на GitHub ускорил Joomla в 600 раз на объёме 150к+ материалов в 1700+ категориях

👩‍💻 Человек на GitHub ускорил Joomla в 600 раз на объёме 150к+ материалов в 1700+ категориях. На старте его сайт на Joomla 3 вообще не смог обновиться на Joomla 5. Пришлось делать экспорт/импорт материалов. Проделав всё это он запустил-таки этот объём данных на Joomla 5. Тестовый скрипт грузил 200 материалов из этого объёма всего за 94 секунды ))) А главная страница с категориями грузилась 20 секунд. Добавив индекс для таблицы #__content

CREATE INDEX idx_catid_state ON #__content (catid, state);
он сократил время загрузки категорий до 1 секунды. Затем наш герой решил поковырять SQL-запрос в ArticleModel, который отвечает за выборку материалов. И решил заменить тип JOIN на STRAIGHT_JOIN для категорий.
// ->from($db->quoteName('#__content', 'a'))->from(    $db->quoteName('#__content', 'a')    . ' STRAIGHT_JOIN ' . $db->quoteName('#__categories', 'c')    . ' ON ' . $db->quoteName('c.id') . ' = ' . $db->quoteName('a.catid'))// ->join('LEFT', $db->quoteName('#__categories', 'c'), $db->quoteName('c.id') . ' = ' . $db->quoteName('a.catid'))
Что сократило загрузку 200 материалов из 150к с 94 секунд до 5. К слову сказать, боевой сайт на Joomla 3 крутится на 12CPU 64GB рамы. А все манипуляции с кодом он делает на базовом 1CPU 1GB сервере и замеры скорости даны именно для базового сервера. Но это всё в дискуссии, хотя в идеале должно вылиться в Pull Requests. Мы - Open Source сообщество, где никто никому ничего не должен. Джунгли. Но человек ищет пути оптимизации Joomla и предлагает решения. Если оказать поддержку и предложить помощь хотя бы с тестированием самых разнообразных сценариев, то возможно эти улучшения смогут войти в ядро. Пусть не быстро, пусть через несколько лет, пусть не все, но войдут. Достаточно предложить руку помощи и приложить немного усилий.
Дискуссию на GitHub можно почитать здесь.@joomlafeed#joomla #community #php

Перевод и публикация интервью с Joomla евангелистом на греческом портале Joomla

Перевод и публикация интервью на греческом портале Joomla 🇬🇷

Утро, просматриваешь входящие письма и изучаешь новости и внезапно обнаруживаешь, что инициатива, которую ты начал, подхватывается другими людьми. 🎉

Недавно я взял интервью у Билла (Василиса) Коциаса - руководителя студии, читающего лекции в университете и популяризатора Joomla в Греции. Это интервью из журнала NorrNext, в оригинале на английском, теперь доступно на греческом языке и опубликовано на портале joomla.gr. 🎉

До чего же приятно… 😇😊 Работа замечена и с ней посчитали необходимым ознакомить аудиторию страны, в которой Билл читает лекции. И это солнечная Греция - страна, страна, с которой Россию многое связывает. 🇬🇷🇷🇺🕊

Смотрю на греческий алфавит и тут же рисуются картины белоснежных зданий в окружении винограда и амфор, красивых женщин в сандалиях и мужественных воинов, охраняющих покой полисов, в которых ученые мужи работают над трудами, позже вошедшими в века. Красиво! 😇Но вернемся к интервью.

Из него вы узнаете, что в Греции доля Joomla среди CMS занимает порядка 30-40%. По моему мнению это - самый высокий показатель во всем мире. Также чтение лекций о Joomla в университетах позволит привести новых пользователей и к тому же молодое поколение. Ну и огромное кол-во сертификтатов Билла на стене (смотрим фото в статье) свидетельствует о том, что Joomla может применяться как профессиональный инструмент.

🌐 Оригинальное интервью (на английском)
🇬🇷 Интервью на греческом портале (joomla.gr)

Что насчет перевода на русский? Увы, времени всего 24 часа в сутках. Я продолжаю готовить новые интервью. Возможно, после завершения выпуска журнала, рассмотрю перевод некоторых интервью на русский. Но я об этом не говорил. 😊 В блоге @eugenius_blog публикую анонсы интересных событий из мира Joomla, интервью, уроки и полезные советы, а также делюсь мыслями:, связанными с разработкой и веб-дизайном.

0 Пользователей и 1 Гость просматривают эту тему.
  • 35 Ответов
  • 2946 Просмотров
*

One

  • Захожу иногда
  • 282
  • 3 / 0
Нагрузка на сервер
« : 28.02.2016, 18:29:52 »
Здравствуйте, подскажите, как понять что именно грузит сервер и базу данных? Как это можно отслеживать? Как можно разобраться с нагрузкой в текущий момент, например, отключить какое-то расширение и посмотреть изменилась ли нагрузка? Какими способами решаются, как правило, проблемы?
*

Taatshi

  • Гуру
  • 5258
  • 481 / 2
  • Верстаем и кодим. Обращайтесь ;)
Re: Нагрузка на сервер
« Ответ #1 : 28.02.2016, 18:38:27 »
Включите отладку в настройках системы и смотрите результаты внизу сайта после обновления страницы
ВЕРСТКА, САЙТЫ ПОД КЛЮЧ, УДАЛЕНИЕ ВИРУСОВ, МИГРАЦИЯ НА JOOMLA 3, ОБНОВЛЕНИЕ  |  ОТЗЫВЫ 
Связь: telegram - Taatshi, почта - Taatshi на яндексе, Skype - Taatshi
*

One

  • Захожу иногда
  • 282
  • 3 / 0
Re: Нагрузка на сервер
« Ответ #2 : 28.02.2016, 18:58:22 »
Включите отладку в настройках системы и смотрите результаты внизу сайта после обновления страницы
А как понять что именно грузит базу данных? Там где большое время запроса? 48 запросов к базе это много? У меня хостинг ругается на повышенную нагрузку на проц и базу данных. Я не могу понять, как мне решить проблему. Из суммарной 1000 мс доходит до 2000 мс. Есть sh404SEF. Последние версии virt и Joomla.
На Joomla 15 было всё отлично, с теми же расширениями, на последних версиях - повышенная нагрузка на сервер.
*

buyanov

  • Захожу иногда
  • 188
  • 29 / 1
  • Сайты 74
Re: Нагрузка на сервер
« Ответ #3 : 28.02.2016, 20:07:32 »
Привет, VM не оптимизировал, но могу сказать что у пустой системы около 22-26 запросов на страницу, и это при том что не включено кеширование. С включенным кешем останется 5-7 запросов. Вот и сравнивайте 48 много это или мало =)
Создание сайтов, интернет-магазинов, оптимизация, продвижение, хостинг, безопасность, лечение от вирусов - мой сайт, телега, Хостинг
*

One

  • Захожу иногда
  • 282
  • 3 / 0
Re: Нагрузка на сервер
« Ответ #4 : 28.02.2016, 20:35:06 »
VM не оптимизировал

А что именно сделать надо для оптимизации?
*

buyanov

  • Захожу иногда
  • 188
  • 29 / 1
  • Сайты 74
Re: Нагрузка на сервер
« Ответ #5 : 28.02.2016, 20:50:47 »
Попробуй включить кеширование и снова посмотреть отладчик
Создание сайтов, интернет-магазинов, оптимизация, продвижение, хостинг, безопасность, лечение от вирусов - мой сайт, телега, Хостинг
*

One

  • Захожу иногда
  • 282
  • 3 / 0
Re: Нагрузка на сервер
« Ответ #6 : 28.02.2016, 20:54:47 »
Попробуй включить кеширование и снова посмотреть отладчик
Кэширование в админке включено, плагина кэша нет
*

One

  • Захожу иногда
  • 282
  • 3 / 0
Re: Нагрузка на сервер
« Ответ #7 : 28.02.2016, 20:58:48 »
Установлен плагин recache. Сейчас ещё установил jotcach
*

One

  • Захожу иногда
  • 282
  • 3 / 0
Re: Нагрузка на сервер
« Ответ #8 : 28.02.2016, 21:10:37 »
Установил jotcache, почистил кэш, теперь запросов 150
*

dmitry_stas

  • Легенда
  • 13151
  • 1234 / 8
Re: Нагрузка на сервер
« Ответ #9 : 28.02.2016, 23:35:54 »
да уж, отличная получилась оптимизация :) может это именно сразу после очистки кеша, а потом уменьшается?
Тут дарят бакс просто за регистрацию! Успей получить!
Все советы на форуме раздаю бесплатно, то есть даром. Индивидуально бесплатно консультирую только по вопросам стоимости индивидуальных консультаций
*

buyanov

  • Захожу иногда
  • 188
  • 29 / 1
  • Сайты 74
Re: Нагрузка на сервер
« Ответ #10 : 29.02.2016, 09:29:44 »
Не надо ставить никакие плагины!
Поставьте на хостинг redis или apc что-нибудь что будет сохранять данные напрямую в память и с чем работает Joomla. Эта поддержка есть в ядре. Максимум что нужно будет настроить это отключение кеша у некоторых модулей например у меню и каких-нить еще которые не должны кешироваться. Плагины могут решать только проблемы с браузерным кешированием, а оно проблемы с запросами к базе не решает, что логично.
Создание сайтов, интернет-магазинов, оптимизация, продвижение, хостинг, безопасность, лечение от вирусов - мой сайт, телега, Хостинг
*

One

  • Захожу иногда
  • 282
  • 3 / 0
Re: Нагрузка на сервер
« Ответ #11 : 29.02.2016, 11:55:57 »
да уж, отличная получилась оптимизация :) может это именно сразу после очистки кеша, а потом уменьшается?
Пока ситуация та же (
*

One

  • Захожу иногда
  • 282
  • 3 / 0
Re: Нагрузка на сервер
« Ответ #12 : 29.02.2016, 12:01:40 »
Не надо ставить никакие плагины!
Поставьте на хостинг redis или apc что-нибудь что будет сохранять данные напрямую в память и с чем работает Joomla. Эта поддержка есть в ядре. Максимум что нужно будет настроить это отключение кеша у некоторых модулей например у меню и каких-нить еще которые не должны кешироваться. Плагины могут решать только проблемы с браузерным кешированием, а оно проблемы с запросами к базе не решает, что логично.
На счет redis впервые слышу, погуглю, постараюсь разобраться.

Jotcach удалить тогда?
*

One

  • Захожу иногда
  • 282
  • 3 / 0
Re: Нагрузка на сервер
« Ответ #13 : 29.02.2016, 12:03:01 »
Суммарная суточная нагрузка на базу данных от хостера: 1000 сек.
Это нормально?
*

One

  • Захожу иногда
  • 282
  • 3 / 0
Re: Нагрузка на сервер
« Ответ #14 : 29.02.2016, 12:06:24 »
На главной странице 3 слайдера товаров (типа новые товары, рекомендуемые, лучшие), могут ли они так сильно грузить базу данных?
*

b2z

  • Глобальный модератор
  • 7287
  • 778 / 0
  • Разраблю понемногу
Re: Нагрузка на сервер
« Ответ #15 : 29.02.2016, 12:11:49 »
На главной странице 3 слайдера товаров (типа новые товары, рекомендуемые, лучшие), могут ли они так сильно грузить базу данных?
Включите отладку в настройках Joomla и выложите сюда результаты профилирования (появятся внизу страницы).
*

wishlight

  • Гуру
  • 5073
  • 319 / 1
  • От 300 руб быстрый хостинг. Сервера.
Re: Нагрузка на сервер
« Ответ #16 : 29.02.2016, 12:22:34 »
Для VirtueMart php 5.6, apcu 4.0.10, opcache, mariadb 10 (включить кеш запросов), nginx фронтендом. Тогда отлично будет. Но это только на своем сервере.

Пс.. Хостер все равно на бабки разводить будет.
« Последнее редактирование: 29.02.2016, 12:26:02 от wishlight »
*

One

  • Захожу иногда
  • 282
  • 3 / 0
Re: Нагрузка на сервер
« Ответ #17 : 29.02.2016, 12:33:37 »
Включите отладку в настройках Joomla и выложите сюда результаты профилирования (появятся внизу страницы).
*

One

  • Захожу иногда
  • 282
  • 3 / 0
Re: Нагрузка на сервер
« Ответ #18 : 29.02.2016, 12:37:53 »
Для VirtueMart php 5.6, apcu 4.0.10, opcache, mariadb 10 (включить кеш запросов), nginx фронтендом. Тогда отлично будет. Но это только на своем сервере.

Пс.. Хостер все равно на бабки разводить будет.
А свой сервер разве не дороже обойдется?
У меня включен php 5.5, поставить 5.6?
*

wishlight

  • Гуру
  • 5073
  • 319 / 1
  • От 300 руб быстрый хостинг. Сервера.
Re: Нагрузка на сервер
« Ответ #19 : 29.02.2016, 12:39:40 »
Я не знаю сколько вы платите за свой хостинг, но если уметь хоть чуть-чуть администрировать, то даже дешевле.
*

b2z

  • Глобальный модератор
  • 7287
  • 778 / 0
  • Разраблю понемногу
Re: Нагрузка на сервер
« Ответ #20 : 29.02.2016, 12:54:06 »
По результатам профилирования скажу, что ничего критичного нет. А сколько SQL запросов?
*

One

  • Захожу иногда
  • 282
  • 3 / 0
Re: Нагрузка на сервер
« Ответ #21 : 29.02.2016, 13:21:20 »
По результатам профилирования скажу, что ничего критичного нет. А сколько SQL запросов?
Вчера было 45, обновил кэш, установил jotcache, теперь 150
*

One

  • Захожу иногда
  • 282
  • 3 / 0
Re: Нагрузка на сервер
« Ответ #22 : 29.02.2016, 13:22:06 »
Я не знаю сколько вы платите за свой хостинг, но если уметь хоть чуть-чуть администрировать, то даже дешевле.
Не сталкивался с администрированием, поэтому пока эту идею оставлю на потом.
*

One

  • Захожу иногда
  • 282
  • 3 / 0
Re: Нагрузка на сервер
« Ответ #23 : 29.02.2016, 13:34:38 »
У меня на сайте установлен sh404SEF, нравится, что он склеивает дубли и делает короткие чпу. На сайте около 6000 товаров и 300 статей. Так вот этот компонент отображает в наличие около 250 000 ссылок из которых посещенные 45 000. Я думаю, может это в этом проблема?

Хотя компонент я пробовал выключать, кол-во запросов в БД почти тоже самое.
*

One

  • Захожу иногда
  • 282
  • 3 / 0
Re: Нагрузка на сервер
« Ответ #24 : 02.03.2016, 12:04:06 »
Базу данных грузила огромная сходка ботов на сайте.

В файле robots запретил доступ всем кроме тех, что нужны, таким образом

Код
User-agent: *
Disallow: /

User-agent: Yandex
Disallow:

User-agent: Googlebot
Disallow:

User-agent: StackRambler
Disallow:
*

wishlight

  • Гуру
  • 5073
  • 319 / 1
  • От 300 руб быстрый хостинг. Сервера.
Re: Нагрузка на сервер
« Ответ #25 : 02.03.2016, 12:14:29 »
Ждите падения траффика )
*

One

  • Захожу иногда
  • 282
  • 3 / 0
Re: Нагрузка на сервер
« Ответ #26 : 02.03.2016, 12:15:47 »
Трафика в виде ботов?
*

wishlight

  • Гуру
  • 5073
  • 319 / 1
  • От 300 руб быстрый хостинг. Сервера.
Re: Нагрузка на сервер
« Ответ #27 : 02.03.2016, 12:18:19 »
Трафика к примеру с бинга. А вот хакботы все равно будут лазить. Да и разрешили индексировать все остальным роботам. Это не к добру.
*

One

  • Захожу иногда
  • 282
  • 3 / 0
Re: Нагрузка на сервер
« Ответ #28 : 02.03.2016, 12:31:17 »
Трафика к примеру с бинга.
Не знал, что даже такая ПС есть. Очень сомневаюсь, что ней массово пользуются, думаю даже 1% не будет. Хотя для роботов с подобной ПС доступ открою.

Цитировать
А вот хакботы все равно будут лазить. Да и разрешили индексировать все остальным роботам. Это не к добру.
Как разрешил индексировать остальными ботам? Если наоборот - запретил. С чего вы взяли, что разрешил?
*

kost757

  • Захожу иногда
  • 376
  • 1 / 2
Re: Нагрузка на сервер
« Ответ #29 : 02.03.2016, 14:16:30 »
Я думаю не важно сколько запросов. важна их длительность.
45 или 150 конечно разница большая. Но при 45-50 разницы нет. даже если вы оптимизируете и сделаете 1 запрос, то его длительность увеличится, так как Joomla будет выполнять тоже но не отдельными запросами, а одним, значит увеличится время.
я размещал сайт на hostinger и не доволен. Постояно блокируют мой бесплатный аккаунт что сайт нагружал их сервер. У сайта 10 человек в день заходило а аони обманывали. и так каждый месяц делали, как будто он раз в день нагружает, а остальные нет.
У друга сайт на HTML страницах, где даже нет php, они и его блокировали, так же ссылаясь на нагрузку на сервер. Так что не слушайте админов хостинга. Оффициальных лимитов для серверов нет. каждый админ сервера сам ставит сколько хочет. А такие популярные как я написал-специально это делают.
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться
 

Валидация формы с загрузкой файлов на сервер

Автор kuliev

Ответов: 4
Просмотров: 974
Последний ответ 17.01.2025, 14:38:44
от kuliev
Цикличный SQL запрос, высокая нагрузка на mysqld

Автор tweenpix

Ответов: 4
Просмотров: 1048
Последний ответ 19.07.2022, 15:34:47
от tweenpix
Нагрузка на сервер

Автор siao

Ответов: 34
Просмотров: 5037
Последний ответ 17.06.2022, 15:42:24
от ChaosHead
Грузит ли умный поиск Joomla сервер, как обычный поиск?

Автор web1

Ответов: 0
Просмотров: 759
Последний ответ 07.10.2021, 16:14:19
от web1
Нагрузка на сервер при использовании краулера

Автор polezniy

Ответов: 8
Просмотров: 1000
Последний ответ 02.07.2021, 02:33:17
от polezniy