Новости Joomla

Человек на GitHub ускорил Joomla в 600 раз на объёме 150к+ материалов в 1700+ категориях

Человек на GitHub ускорил Joomla в 600 раз на объёме 150к+ материалов в 1700+ категориях

👩‍💻 Человек на GitHub ускорил Joomla в 600 раз на объёме 150к+ материалов в 1700+ категориях. На старте его сайт на Joomla 3 вообще не смог обновиться на Joomla 5. Пришлось делать экспорт/импорт материалов. Проделав всё это он запустил-таки этот объём данных на Joomla 5. Тестовый скрипт грузил 200 материалов из этого объёма всего за 94 секунды ))) А главная страница с категориями грузилась 20 секунд. Добавив индекс для таблицы #__content

CREATE INDEX idx_catid_state ON #__content (catid, state);
он сократил время загрузки категорий до 1 секунды. Затем наш герой решил поковырять SQL-запрос в ArticleModel, который отвечает за выборку материалов. И решил заменить тип JOIN на STRAIGHT_JOIN для категорий.
// ->from($db->quoteName('#__content', 'a'))->from(    $db->quoteName('#__content', 'a')    . ' STRAIGHT_JOIN ' . $db->quoteName('#__categories', 'c')    . ' ON ' . $db->quoteName('c.id') . ' = ' . $db->quoteName('a.catid'))// ->join('LEFT', $db->quoteName('#__categories', 'c'), $db->quoteName('c.id') . ' = ' . $db->quoteName('a.catid'))
Что сократило загрузку 200 материалов из 150к с 94 секунд до 5. К слову сказать, боевой сайт на Joomla 3 крутится на 12CPU 64GB рамы. А все манипуляции с кодом он делает на базовом 1CPU 1GB сервере и замеры скорости даны именно для базового сервера. Но это всё в дискуссии, хотя в идеале должно вылиться в Pull Requests. Мы - Open Source сообщество, где никто никому ничего не должен. Джунгли. Но человек ищет пути оптимизации Joomla и предлагает решения. Если оказать поддержку и предложить помощь хотя бы с тестированием самых разнообразных сценариев, то возможно эти улучшения смогут войти в ядро. Пусть не быстро, пусть через несколько лет, пусть не все, но войдут. Достаточно предложить руку помощи и приложить немного усилий.
Дискуссию на GitHub можно почитать здесь.@joomlafeed#joomla #community #php

0 Пользователей и 1 Гость просматривают эту тему.
  • 5 Ответов
  • 3388 Просмотров
*

voldemar77

  • Захожу иногда
  • 58
  • 3 / 0
Актуальный вопрос.

Кто имел дело с "Генератор XML-карты сайта для WordPress", знает, насколько она удобна. Я имею ввиду плуг Google XML Sitemaps.
Одним из наиболее удобных моментов является (при включенной опции, разумеется) автоматическое создание новой карты при добавлении нового материала. И не только создание, но и уведомление Google и других о существовании новой карты.

Не задумывались ли здесь о востребованности этих функций?
Стоит ли дописать их в Xmap патчем?

 
*

voland

  • Легенда
  • 11026
  • 588 / 112
  • Эта строка съедает место на вашем мониторе
*

voldemar77

  • Захожу иногда
  • 58
  • 3 / 0
И этот плагин пинга можно настроить, чтобы пинал Xmap для перестроения карты при появлении новых материалов?
*

Kuzmitch

  • Захожу иногда
  • 150
  • 7 / 0
Xmap? Зачем? Есть jCrawler, есть плагин пинга.

ты в курсе как сделать чтобы JCrawler автоматически сканил сайт в поиске новых материалов ?
JCrawler безусловно удобен, но каждый день заходить и кликать кнопку "start" это ппц.
*

voldemar77

  • Захожу иногда
  • 58
  • 3 / 0
Xmap? Зачем? Есть jCrawler, есть плагин пинга.

Что-то я не понимаю, что этот jCrawler так долго работает.
400 страниц больше двух минут обрабатывает, на 4000 тыс даже запустить страшно. И так серваку перегрузку устроил.


Вон, к Xmap для com_properties уже написали плагин, сейчас дорабатываем.
в работе можно посмотреть здесь http://tianatp.ru
4000 объектов менее чем за полминуты обрабатывает.

PS: сайт в отладке, в IE8 может глючить ближайшие пару дней. FF -нормально работает.

PSS: из принципа запустил на локалке. Решил подождать. 10 потоков, Vista, все ресурсы ))
        * There are 2007 links in your sitemap.
        * Success, wrote Z:\home\cz2/sitemap.xml
        * Success, wrote Z:\home\cz2//administrator/components/com_jcrawler/config.xml
        * total time: 899.2849 seconds

Охренеть! пошёл сносить...
« Последнее редактирование: 19.02.2010, 22:04:18 от voldemar77 »
*

voland

  • Легенда
  • 11026
  • 588 / 112
  • Эта строка съедает место на вашем мониторе
Что-то я не понимаю, что этот jCrawler так долго работает.
400 страниц больше двух минут обрабатывает, на 4000 тыс даже запустить страшно. И так серваку перегрузку устроил.


Вон, к Xmap для com_properties уже написали плагин, сейчас дорабатываем.
в работе можно посмотреть здесь http://tianatp.ru
4000 объектов менее чем за полминуты обрабатывает.

PS: сайт в отладке, в IE8 может глючить ближайшие пару дней. FF -нормально работает.

PSS: из принципа запустил на локалке. Решил подождать. 10 потоков, Vista, все ресурсы ))
        * There are 2007 links in your sitemap.
        * Success, wrote Z:\home\cz2/sitemap.xml
        * Success, wrote Z:\home\cz2//administrator/components/com_jcrawler/config.xml
        * total time: 899.2849 seconds

Охренеть! пошёл сносить...

Потому что принцип другой - он сам обходит весь сайт и сканирует каждую страницу, то есть фактически эмулирует работу бота, естественно это дольше и выше нагрузка - зато правильные урлы 100%.
Это простое решение для небольших сайтов, запускать, да еще и постоянно его на сайтах с тысячами страниц смысла нет
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться
 

Открытие страницы в новой вкладки с точки зрения SEO

Автор dm-krv

Ответов: 20
Просмотров: 2840
Последний ответ 23.01.2019, 00:05:36
от ProtectYourSite
Joomla и выход в топ 10 поисковиков

Автор alpha_and_omega

Ответов: 11
Просмотров: 1436
Последний ответ 23.11.2018, 12:36:04
от dmtn
Закрывать или нет шаблон сайта от поисковиков?

Автор Dim

Ответов: 4
Просмотров: 1207
Последний ответ 21.11.2018, 21:06:29
от Septdir
Скрытие модулей и меню от поисковиков в целях перелинковки

Автор roma_sanbl4

Ответов: 9
Просмотров: 1765
Последний ответ 20.06.2018, 19:32:25
от Arkadiy
Настройка мультиязычности для поисковиков

Автор atnana

Ответов: 1
Просмотров: 1096
Последний ответ 09.06.2018, 07:12:54
от smallplushbear