Новости Joomla

Человек на GitHub ускорил Joomla в 600 раз на объёме 150к+ материалов в 1700+ категориях

Человек на GitHub ускорил Joomla в 600 раз на объёме 150к+ материалов в 1700+ категориях

👩‍💻 Человек на GitHub ускорил Joomla в 600 раз на объёме 150к+ материалов в 1700+ категориях. На старте его сайт на Joomla 3 вообще не смог обновиться на Joomla 5. Пришлось делать экспорт/импорт материалов. Проделав всё это он запустил-таки этот объём данных на Joomla 5. Тестовый скрипт грузил 200 материалов из этого объёма всего за 94 секунды ))) А главная страница с категориями грузилась 20 секунд. Добавив индекс для таблицы #__content

CREATE INDEX idx_catid_state ON #__content (catid, state);
он сократил время загрузки категорий до 1 секунды. Затем наш герой решил поковырять SQL-запрос в ArticleModel, который отвечает за выборку материалов. И решил заменить тип JOIN на STRAIGHT_JOIN для категорий.
// ->from($db->quoteName('#__content', 'a'))->from(    $db->quoteName('#__content', 'a')    . ' STRAIGHT_JOIN ' . $db->quoteName('#__categories', 'c')    . ' ON ' . $db->quoteName('c.id') . ' = ' . $db->quoteName('a.catid'))// ->join('LEFT', $db->quoteName('#__categories', 'c'), $db->quoteName('c.id') . ' = ' . $db->quoteName('a.catid'))
Что сократило загрузку 200 материалов из 150к с 94 секунд до 5. К слову сказать, боевой сайт на Joomla 3 крутится на 12CPU 64GB рамы. А все манипуляции с кодом он делает на базовом 1CPU 1GB сервере и замеры скорости даны именно для базового сервера. Но это всё в дискуссии, хотя в идеале должно вылиться в Pull Requests. Мы - Open Source сообщество, где никто никому ничего не должен. Джунгли. Но человек ищет пути оптимизации Joomla и предлагает решения. Если оказать поддержку и предложить помощь хотя бы с тестированием самых разнообразных сценариев, то возможно эти улучшения смогут войти в ядро. Пусть не быстро, пусть через несколько лет, пусть не все, но войдут. Достаточно предложить руку помощи и приложить немного усилий.
Дискуссию на GitHub можно почитать здесь.@joomlafeed#joomla #community #php

Перевод и публикация интервью с Joomla евангелистом на греческом портале Joomla

Перевод и публикация интервью на греческом портале Joomla 🇬🇷

Утро, просматриваешь входящие письма и изучаешь новости и внезапно обнаруживаешь, что инициатива, которую ты начал, подхватывается другими людьми. 🎉

Недавно я взял интервью у Билла (Василиса) Коциаса - руководителя студии, читающего лекции в университете и популяризатора Joomla в Греции. Это интервью из журнала NorrNext, в оригинале на английском, теперь доступно на греческом языке и опубликовано на портале joomla.gr. 🎉

До чего же приятно… 😇😊 Работа замечена и с ней посчитали необходимым ознакомить аудиторию страны, в которой Билл читает лекции. И это солнечная Греция - страна, страна, с которой Россию многое связывает. 🇬🇷🇷🇺🕊

Смотрю на греческий алфавит и тут же рисуются картины белоснежных зданий в окружении винограда и амфор, красивых женщин в сандалиях и мужественных воинов, охраняющих покой полисов, в которых ученые мужи работают над трудами, позже вошедшими в века. Красиво! 😇Но вернемся к интервью.

Из него вы узнаете, что в Греции доля Joomla среди CMS занимает порядка 30-40%. По моему мнению это - самый высокий показатель во всем мире. Также чтение лекций о Joomla в университетах позволит привести новых пользователей и к тому же молодое поколение. Ну и огромное кол-во сертификтатов Билла на стене (смотрим фото в статье) свидетельствует о том, что Joomla может применяться как профессиональный инструмент.

🌐 Оригинальное интервью (на английском)
🇬🇷 Интервью на греческом портале (joomla.gr)

Что насчет перевода на русский? Увы, времени всего 24 часа в сутках. Я продолжаю готовить новые интервью. Возможно, после завершения выпуска журнала, рассмотрю перевод некоторых интервью на русский. Но я об этом не говорил. 😊 В блоге @eugenius_blog публикую анонсы интересных событий из мира Joomla, интервью, уроки и полезные советы, а также делюсь мыслями:, связанными с разработкой и веб-дизайном.

0 Пользователей и 1 Гость просматривают эту тему.
  • 7 Ответов
  • 1439 Просмотров
*

Megos

  • Захожу иногда
  • 183
  • 2 / 2
ZOO конкретно тормозила на сервере с кучей других сайтов. Было принято решение, перенести на отдельный сервер. Но не смотря на то, что здесь под один сайт выделено 2 ядра по 2600 и 2 гига памяти тормоза не ушли. Сейчас при открытии страницы категории получаю ошибку (в админке тоже примерно такая же):

1104 - The SELECT would examine more than MAX_JOIN_SIZE rows; check your WHERE and use SET SQL_BIG_SELECTS=1 or SET MAX_JOIN_SIZE=# if the SELECT is okay SQL=SELECT c.*, GROUP_CONCAT(DISTINCT i.id) as item_ids FROM #__zoo_category as c USE INDEX (APPLICATIONID_ID_INDEX) LEFT JOIN #__zoo_category_item as ci ON ci.category_id = c.id LEFT JOIN #__zoo_item AS i USE INDEX (MULTI_INDEX2) ON ci.item_id = i.id AND i.access IN (1,5) AND i.state = 1 AND (i.publish_up = '0000-00-00 00:00:00' OR i.publish_up <= '2016-11-07 11:08:57') AND (i.publish_down = '0000-00-00 00:00:00' OR i.publish_down >= '2016-11-07 11:08:57') WHERE c.application_id = 1 AND c.published = 1 GROUP BY c.id

Нагуглил такое решение: _http://gtalex.ru/the-select-would-examine-more-than-max_join_size-rows-primer-optimizacii-sql-zaprosa

Оно про Виртуемарт, но проблема думаю такая же. Попробовал в настройках MySQL сервера повысить MAX_JOIN_SIZE параметр и категория стала открываться, но занимает это минуты по 2. Как я понимаю читаются все 140.000 записей потом выводится категория. При этом счетчика записей у категорий нет, не понятно зачем все пересчитывать, когда можно вывести 50 категорий первого уровня за секунду.

Вопрос к спецам, в каком файле и как можно использовать SET SQL_BIG_SELECTS=1 чтобы категории выводились шустрее?
*

Apoca1ypto

  • Давно я тут
  • 749
  • 71 / 0
ZOO конкретно тормозила на сервере с кучей других сайтов. Было принято решение, перенести на отдельный сервер. Но не смотря на то, что здесь под один сайт выделено 2 ядра по 2600 и 2 гига памяти тормоза не ушли. Сейчас при открытии страницы категории получаю ошибку (в админке тоже примерно такая же):

1104 - The SELECT would examine more than MAX_JOIN_SIZE rows; check your WHERE and use SET SQL_BIG_SELECTS=1 or SET MAX_JOIN_SIZE=# if the SELECT is okay SQL=SELECT c.*, GROUP_CONCAT(DISTINCT i.id) as item_ids FROM #__zoo_category as c USE INDEX (APPLICATIONID_ID_INDEX) LEFT JOIN #__zoo_category_item as ci ON ci.category_id = c.id LEFT JOIN #__zoo_item AS i USE INDEX (MULTI_INDEX2) ON ci.item_id = i.id AND i.access IN (1,5) AND i.state = 1 AND (i.publish_up = '0000-00-00 00:00:00' OR i.publish_up <= '2016-11-07 11:08:57') AND (i.publish_down = '0000-00-00 00:00:00' OR i.publish_down >= '2016-11-07 11:08:57') WHERE c.application_id = 1 AND c.published = 1 GROUP BY c.id

Нагуглил такое решение: _http://gtalex.ru/the-select-would-examine-more-than-max_join_size-rows-primer-optimizacii-sql-zaprosa

Оно про Виртуемарт, но проблема думаю такая же. Попробовал в настройках MySQL сервера повысить MAX_JOIN_SIZE параметр и категория стала открываться, но занимает это минуты по 2. Как я понимаю читаются все 140.000 записей потом выводится категория. При этом счетчика записей у категорий нет, не понятно зачем все пересчитывать, когда можно вывести 50 категорий первого уровня за секунду.

Вопрос к спецам, в каком файле и как можно использовать SET SQL_BIG_SELECTS=1 чтобы категории выводились шустрее?
Почитайте данную тему: http://joomlaforum.ru/index.php/topic,227130.msg1248212.html#msg1248212
Во время спора в Интернете Ваш оппонент приводит неопровержимые доказательства своей точки зрения? Не отчаивайтесь. До...тесь до орфографии.
*

AlekVolsk

  • Гуру
  • 6913
  • 416 / 4
zoo, как и его наследник jbzoo в плане большого кол-ва категорий и итемов весьма печален в вопросах производительности, я все жду jbzoo3, который будет отвязан от zoo и хоть как-то будет приближен к современным скоростям...
*

Megos

  • Захожу иногда
  • 183
  • 2 / 2
В примере 10к записей, у меня 140к. APC, nginx и кеширование в Joomla включены. Но не помогает. Или я не уловил суть Вашего посыла? Хотите сказать, что решение с SET SQL_BIG_SELECTS=1 не сработает для Zoo?
*

AlekVolsk

  • Гуру
  • 6913
  • 416 / 4
140к? увы, быстрее уже не будет... для понимания почему - поковыряйте таблицы в базе на предмет структуры данных...

зу не предназначено для кол-ва итемов более 25к априори, к сожалению, а такая классная задумка была...
*

Megos

  • Захожу иногда
  • 183
  • 2 / 2
140к? увы, быстрее уже не будет... для понимания почему - поковыряйте таблицы в базе на предмет структуры данных...

зу не предназначено для кол-ва итемов более 25к априори, к сожалению, а такая классная задумка была...

25к, ох... Где же Вы раньше были, когда я выбирал компонент каталога? :)) В структурах баз, к сожалению, не разбираюсь.  Может знаете что-то для Joomla, что может осилить такой каталог? В иделае с возможностью миграции с Zoo.
*

AlekVolsk

  • Гуру
  • 6913
  • 416 / 4
в идеале J изначально не для таких мощностей, потому подойдет любое решение. но только с серьезными допилами по месту, но лучше смотрите в сторону специализированных каталожно-магазинных решений, либо под J, но самопис

вообще, я знаю и миллион итемов на зу, но там от зу и половины не осталось, при таких объемах любое решение потребует серьезных допилов
*

Megos

  • Захожу иногда
  • 183
  • 2 / 2
А если сделать несколько однотипных каталогов в виде разных app и разделить все итемы между ними? В этом случае будет пересчитываться вся база Zoo или только конкретно открываемый каталог?
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться
 

Дополнительное поле с редактором для категории. Zoo

Автор rch.sergeevich

Ответов: 1
Просмотров: 2828
Последний ответ 22.05.2022, 08:12:16
от arma
Вывод материала категории

Автор face2005

Ответов: 0
Просмотров: 3581
Последний ответ 28.09.2018, 18:26:52
от face2005
[Решено] Как в модуле ZOO Item вывести название и описание категории?

Автор frolov.ar

Ответов: 13
Просмотров: 6373
Последний ответ 01.04.2017, 13:29:52
от rivermc
URL нескольких страниц категории

Автор saschka

Ответов: 2
Просмотров: 2305
Последний ответ 08.02.2017, 13:45:36
от saschka
Как в ZOO_item вывести название категории?

Автор pitonium

Ответов: 3
Просмотров: 2236
Последний ответ 11.01.2017, 11:33:30
от shtier