Новости Joomla

Человек на GitHub ускорил Joomla в 600 раз на объёме 150к+ материалов в 1700+ категориях

Человек на GitHub ускорил Joomla в 600 раз на объёме 150к+ материалов в 1700+ категориях

👩‍💻 Человек на GitHub ускорил Joomla в 600 раз на объёме 150к+ материалов в 1700+ категориях. На старте его сайт на Joomla 3 вообще не смог обновиться на Joomla 5. Пришлось делать экспорт/импорт материалов. Проделав всё это он запустил-таки этот объём данных на Joomla 5. Тестовый скрипт грузил 200 материалов из этого объёма всего за 94 секунды ))) А главная страница с категориями грузилась 20 секунд. Добавив индекс для таблицы #__content

CREATE INDEX idx_catid_state ON #__content (catid, state);
он сократил время загрузки категорий до 1 секунды. Затем наш герой решил поковырять SQL-запрос в ArticleModel, который отвечает за выборку материалов. И решил заменить тип JOIN на STRAIGHT_JOIN для категорий.
// ->from($db->quoteName('#__content', 'a'))->from(    $db->quoteName('#__content', 'a')    . ' STRAIGHT_JOIN ' . $db->quoteName('#__categories', 'c')    . ' ON ' . $db->quoteName('c.id') . ' = ' . $db->quoteName('a.catid'))// ->join('LEFT', $db->quoteName('#__categories', 'c'), $db->quoteName('c.id') . ' = ' . $db->quoteName('a.catid'))
Что сократило загрузку 200 материалов из 150к с 94 секунд до 5. К слову сказать, боевой сайт на Joomla 3 крутится на 12CPU 64GB рамы. А все манипуляции с кодом он делает на базовом 1CPU 1GB сервере и замеры скорости даны именно для базового сервера. Но это всё в дискуссии, хотя в идеале должно вылиться в Pull Requests. Мы - Open Source сообщество, где никто никому ничего не должен. Джунгли. Но человек ищет пути оптимизации Joomla и предлагает решения. Если оказать поддержку и предложить помощь хотя бы с тестированием самых разнообразных сценариев, то возможно эти улучшения смогут войти в ядро. Пусть не быстро, пусть через несколько лет, пусть не все, но войдут. Достаточно предложить руку помощи и приложить немного усилий.
Дискуссию на GitHub можно почитать здесь.@joomlafeed#joomla #community #php

Перевод и публикация интервью с Joomla евангелистом на греческом портале Joomla

Перевод и публикация интервью на греческом портале Joomla 🇬🇷

Утро, просматриваешь входящие письма и изучаешь новости и внезапно обнаруживаешь, что инициатива, которую ты начал, подхватывается другими людьми. 🎉

Недавно я взял интервью у Билла (Василиса) Коциаса - руководителя студии, читающего лекции в университете и популяризатора Joomla в Греции. Это интервью из журнала NorrNext, в оригинале на английском, теперь доступно на греческом языке и опубликовано на портале joomla.gr. 🎉

До чего же приятно… 😇😊 Работа замечена и с ней посчитали необходимым ознакомить аудиторию страны, в которой Билл читает лекции. И это солнечная Греция - страна, страна, с которой Россию многое связывает. 🇬🇷🇷🇺🕊

Смотрю на греческий алфавит и тут же рисуются картины белоснежных зданий в окружении винограда и амфор, красивых женщин в сандалиях и мужественных воинов, охраняющих покой полисов, в которых ученые мужи работают над трудами, позже вошедшими в века. Красиво! 😇Но вернемся к интервью.

Из него вы узнаете, что в Греции доля Joomla среди CMS занимает порядка 30-40%. По моему мнению это - самый высокий показатель во всем мире. Также чтение лекций о Joomla в университетах позволит привести новых пользователей и к тому же молодое поколение. Ну и огромное кол-во сертификтатов Билла на стене (смотрим фото в статье) свидетельствует о том, что Joomla может применяться как профессиональный инструмент.

🌐 Оригинальное интервью (на английском)
🇬🇷 Интервью на греческом портале (joomla.gr)

Что насчет перевода на русский? Увы, времени всего 24 часа в сутках. Я продолжаю готовить новые интервью. Возможно, после завершения выпуска журнала, рассмотрю перевод некоторых интервью на русский. Но я об этом не говорил. 😊 В блоге @eugenius_blog публикую анонсы интересных событий из мира Joomla, интервью, уроки и полезные советы, а также делюсь мыслями:, связанными с разработкой и веб-дизайном.

0 Пользователей и 1 Гость просматривают эту тему.
  • 10 Ответов
  • 6655 Просмотров
*

beliyadm

  • Легенда
  • 9758
  • 1665 / 66
  • Севастополь, Россия
Кстати Сергей, знаешь что еще плохо но я пока не вижу пути исправить - в режиме блога на странице 20 материалов и соответственно 20 запросов в БД на получение кол-ва комментов, так в принципе в любом интегрируемом компоненте.
Когда кол-во объектов большое, комментариев много, нет индексов - это как то совсем нехорошо получается
Все истины, которые я хочу вам изложить, — бесстыдная ложь. Сделать всё хорошо
TLG: @Beliyadm
*

smart

  • Администратор
  • 6478
  • 1318 / 15
  • Хочешь сделать хорошо — сделай!
в режиме блога на странице 20 материалов и соответственно 20 запросов в БД на получение кол-ва комментов
Чтобы этого не было, надо выдергивать количество комментариев ко всему списку, но заранее, содержимое этого списка (в общем случае) неизвестно. В принципе, можно конечно рассмотреть вариант, когда плагин ставит по тексту страницы метки, где должен показаться счетчик комментариев, коллекционирует идентификаторы комментируемых объектов и потом, в некий момент времени, дергает для всех них одним запросом количества, и, допустим, на JavaScript, обновляет. Но это, как мне кажется, уже несколько извращение.

Самое простое средство снижения нагрузки - кэшировать эти запросы, но тогда цифры будут не совсем честные. Чтобы было все по-честному, надо сбрасывать кэш счетчика конкретного материала если появляются к нему комментарии. Это в принципе можно реализовать, но будет очень приличная нагрузка на кэш... Что тоже, не факт, что хорошо.

Когда кол-во объектов большое, комментариев много, нет индексов - это как то совсем нехорошо получается
индексы по комментариям есть, и по всем полям по которым идет поиск они присутствуют, я смотрел планы запросов, там все нормально.
*

beliyadm

  • Легенда
  • 9758
  • 1665 / 66
  • Севастополь, Россия
индексы по комментариям есть, и по всем полям по которым идет поиск они присутствуют, я смотрел планы запросов, там все нормально.
точно, прошу прощения

Я выхожу на избранных сайтах проще - не JComments::getCommentsCount() а в запросе напрямую тягаю  count() с группировкой, для того же com_content тоже в модели прописал

Цитировать
Самое простое средство снижения нагрузки - кэшировать эти запросы, но тогда цифры будут не совсем честные. Чтобы было все по-честному, надо сбрасывать кэш счетчика конкретного материала если появляются к нему комментарии. Это в принципе можно реализовать, но будет очень приличная нагрузка на кэш... Что тоже, не факт, что хорошо.
логично, и первое и второе.
А если заранее в массив класть кол-во комментов для объекта на странице и плагином их выдавать сразу? То есть получаем массив из ObjectID - count и после по ID раздавать. Почти как ты сказал выше, но без JS
Все истины, которые я хочу вам изложить, — бесстыдная ложь. Сделать всё хорошо
TLG: @Beliyadm
*

smart

  • Администратор
  • 6478
  • 1318 / 15
  • Хочешь сделать хорошо — сделай!
Я выхожу на избранных сайтах проще - не JComments::getCommentsCount() а в запросе напрямую тягаю  count() с группировкой, для того же com_content тоже в модели прописал
да, но это если ты пишешь свой компонент, я же не буду делать патчи для com_content? Тем более, когда в выборке большое количество полей, группировка может оказаться куда как более трудоемкой операцией, нежели цепочка запросов количества по индексным полям.

А если заранее в массив класть кол-во комментов для объекта на странице и плагином их выдавать сразу?
ты умеешь заглядывать в будущее? откуда плагин для com_content знает, какая статья будет следующей? выдергивать параметры сортировки, вычислять какой раздел, сколько на страницу и т.д.? Тебе не кажется, что в этом случае, мы можем получить во-первых снижение производительности, а во-вторых получить менее совместимый код, ибо начнем привязываться ко всяким переменным?
*

beliyadm

  • Легенда
  • 9758
  • 1665 / 66
  • Севастополь, Россия
непременно получим :)
Но тем не менее мне не очень нравится ситуация 20 запросов с подсчетом на страницу блога с 20-ю материалами, пусть даже кешируемых. Но и решения я в принципе лучше чем у тебя сейчас не вижу (не считая ручного переписывания всех моделей)
Все истины, которые я хочу вам изложить, — бесстыдная ложь. Сделать всё хорошо
TLG: @Beliyadm
*

smart

  • Администратор
  • 6478
  • 1318 / 15
  • Хочешь сделать хорошо — сделай!
Я тебе более того скажу, я уже подумывал, перехватывать модели category, frontpage и section - технически это возможно, она возвращается по ссылке, следовательно потенциально можно налету в системном плагине "спалить", что сейчас идет работа с com_content, и еще до того, как что-то будет сделано самим компонентом, запросить модель, получить ссылку, и по этой ссылке засунуть свою модель, унаследованную от родительской, но доработанную (перекрываем метод getData, собираем с массива элементов их идентификаторы, делаем запрос, дополняем массив).  Т.е. в принципе, с точки зрения теории, такая "партизанщина" допустима, но могут вылезти косяки с точки зрения совместимости
*

beliyadm

  • Легенда
  • 9758
  • 1665 / 66
  • Севастополь, Россия
в принципе я это и имел в виду, только не так подробно :)
Т.е. в принципе, с точки зрения теории, такая "партизанщина" допустима, но могут вылезти косяки с точки зрения совместимости
совместимость с чем?
Все истины, которые я хочу вам изложить, — бесстыдная ложь. Сделать всё хорошо
TLG: @Beliyadm
*

smart

  • Администратор
  • 6478
  • 1318 / 15
  • Хочешь сделать хорошо — сделай!
совместимость с чем?
никто не может дать гарантии, что я один такой умный, и что следующий за моим плагин не заменит модель на свою, и тогда пользователь рискует остаться вообще без количества комментариев.
*

beliyadm

  • Легенда
  • 9758
  • 1665 / 66
  • Севастополь, Россия
никто не может дать гарантии, что я один такой умный, и что следующий за моим плагин не заменит модель на свою
если честно я такого пока не встречал. Можно конечно в настройках плагина сделать опционально - заменять модель или нет (для тех кто знает)
Все истины, которые я хочу вам изложить, — бесстыдная ложь. Сделать всё хорошо
TLG: @Beliyadm
*

smart

  • Администратор
  • 6478
  • 1318 / 15
  • Хочешь сделать хорошо — сделай!
Не, не получается модель перехватить, по крайней мере у меня сходу не вышло, хотя теоретически это возможно.
*

teqwer

  • Новичок
  • 9
  • 0 / 0
Уважаемый smart, у Вас не появилось решения проблемы повышенного количества запросов к базе данных?
У меня на главной при подсчете кол-ва комментариев создается 30 запросов (_k2_comments), если есть решение прошу поделиться.
Заранее благодарю!
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться
 

Поддержка akismet была бы кстати в JComments

Автор Александр Кардаш

Ответов: 16
Просмотров: 5695
Последний ответ 03.10.2022, 11:03:05
от wishlight
Как вывести Jcomments в теле статьи?

Автор marina9777

Ответов: 1
Просмотров: 3191
Последний ответ 09.04.2022, 13:20:07
от Helios
Управление подпиской на уведомления о новых комментариях в JComments

Автор smart

Ответов: 66
Просмотров: 49820
Последний ответ 24.09.2021, 16:21:37
от Vlad1
Добавить систему рейтинга в JComments

Автор webtrack

Ответов: 59
Просмотров: 60452
Последний ответ 17.05.2021, 11:21:08
от McCafferty
Можно ли reCAPTCH для JComments сделать с отложенной загрузкой?

Автор ncknck

Ответов: 12
Просмотров: 3879
Последний ответ 04.11.2020, 20:50:42
от ProtectYourSite