Новости Joomla

Человек на GitHub ускорил Joomla в 600 раз на объёме 150к+ материалов в 1700+ категориях

Человек на GitHub ускорил Joomla в 600 раз на объёме 150к+ материалов в 1700+ категориях

👩‍💻 Человек на GitHub ускорил Joomla в 600 раз на объёме 150к+ материалов в 1700+ категориях. На старте его сайт на Joomla 3 вообще не смог обновиться на Joomla 5. Пришлось делать экспорт/импорт материалов. Проделав всё это он запустил-таки этот объём данных на Joomla 5. Тестовый скрипт грузил 200 материалов из этого объёма всего за 94 секунды ))) А главная страница с категориями грузилась 20 секунд. Добавив индекс для таблицы #__content

CREATE INDEX idx_catid_state ON #__content (catid, state);
он сократил время загрузки категорий до 1 секунды. Затем наш герой решил поковырять SQL-запрос в ArticleModel, который отвечает за выборку материалов. И решил заменить тип JOIN на STRAIGHT_JOIN для категорий.
// ->from($db->quoteName('#__content', 'a'))->from(    $db->quoteName('#__content', 'a')    . ' STRAIGHT_JOIN ' . $db->quoteName('#__categories', 'c')    . ' ON ' . $db->quoteName('c.id') . ' = ' . $db->quoteName('a.catid'))// ->join('LEFT', $db->quoteName('#__categories', 'c'), $db->quoteName('c.id') . ' = ' . $db->quoteName('a.catid'))
Что сократило загрузку 200 материалов из 150к с 94 секунд до 5. К слову сказать, боевой сайт на Joomla 3 крутится на 12CPU 64GB рамы. А все манипуляции с кодом он делает на базовом 1CPU 1GB сервере и замеры скорости даны именно для базового сервера. Но это всё в дискуссии, хотя в идеале должно вылиться в Pull Requests. Мы - Open Source сообщество, где никто никому ничего не должен. Джунгли. Но человек ищет пути оптимизации Joomla и предлагает решения. Если оказать поддержку и предложить помощь хотя бы с тестированием самых разнообразных сценариев, то возможно эти улучшения смогут войти в ядро. Пусть не быстро, пусть через несколько лет, пусть не все, но войдут. Достаточно предложить руку помощи и приложить немного усилий.
Дискуссию на GitHub можно почитать здесь.@joomlafeed#joomla #community #php

0 Пользователей и 1 Гость просматривают эту тему.
  • 35 Ответов
  • 4870 Просмотров
*

alex_a_k

  • Захожу иногда
  • 381
  • 21 / 0
Даже в целях вашего модуля можно бы было при записи в эту табличку сразу анализировать агент и писать ещё в одно поле типа tinyint уже признак (например 1-юзер, 2 - бот) - тогда при выводе модуля ещё быстрее получится.
Ведь пишется один посетитель один раз, а модуль выводиться будет каждый раз при просмотре страницы.
Я думал над этим и оценил сразу все эти удобства при таком подходе еще при постановке задачи, но посетителей с ботами в сутки ДОФИГА.
И при этом нужно подумать об уникальных пользователях, фильтрации повторных заходов, других повторений в промежуток времени, одинаковых IP с разными агентами и т.д. и т.п... К тому же еще нужна автоочистка таблицы ибо как я писал записей там будет ТЬМА!
Т.е. городить огород с написанием полноценного анализатора посетителей совсем не хочется...
Сессии в этом плане все упрощают, потому и решил пойти по пути наименьшего сопротивления.

Может посоветуете как упростить описанные выше моменты и сократить объем таблицы?
Не жмитесь на "+" в репу!
А так же на мелкий donate. ))
*

alex_a_k

  • Захожу иногда
  • 381
  • 21 / 0
В данном случае я бы посоветовал посмотреть на уже готовые решения. Вот по статистике у меня на одном сайте исправно крутится уже 4 года joomlastats. Не использую внешние скрипты статистики для небольших сайтов  - оптимальное решение, но их скриптов статистики очень много.
Мне не нужна глобальная статистика!
Основная цель - вывести посещения ботов (желательно с именами) за последних N минут.
Зачем ради этого вешать целый комплекс аналитики с кучей таблиц и запросов?
Забивать микроскопом гвозди ради одной строки?
Не жмитесь на "+" в репу!
А так же на мелкий donate. ))
*

Fedor Vlasenko

  • Живу я здесь
  • 3845
  • 733 / 7
  • https://fedor-vlasenko.web.app
Ответьте пожалуйста а зачем пользователю такая информация?
Цитировать
вывести посещения ботов (желательно с именами) за последних N минут
даже не знаю, админу сайта, то-же не чего не дает. Что она несет. Я не понимаю ну был бот, ну и что. Как я могу использовать эту информацию, что она мне даcт, какую пользу?
*

alex_a_k

  • Захожу иногда
  • 381
  • 21 / 0
Ответьте пожалуйста а зачем пользователю такая информация?
даже не знаю, админу сайта, то-же не чего не дает.
Что она несет.
Я не понимаю ну был бот, ну и что.
Как я могу использовать эту информацию, что она мне даcт, какую пользу?

Не спрашивайте ЗАЧЕМ - это вопрос риторический и не относится к топику.
Скажем так, ПОСТАВЛЕНА ЗАДАЧА реализовать нечто вроде перечня посетивших юзеров и ботов за единицу времени, как на форумах PHPBB.
Можно глянуть в самом нижней части страницы на http://www.phpbbguru.net/community/, http://forumadmins.ru/, http://open-server.ru/forum/ (даю несколько ссылок, если в момент посещения где-то не будет ботов).
Но решить проблему нужно максимально простым и оптимальным методом.
В зачет идет все: объем кода, кол-во дополнительных полей в БД, их объем, количество записей в них и т.д. и т.п.
Все необходимо свести к МИНИМУМУ!
Решение исключительно СВОЁ, правда можно пользоваться наработками из некоммерческих источников с открытым кодом.
Вот и изголяюсь.  ! crazy!

P.S. Только УМОЛЯЮ, не спрашивайте снова ЗАЧЕМ!  :o
« Последнее редактирование: 28.06.2013, 13:59:28 от alex_a_k »
Не жмитесь на "+" в репу!
А так же на мелкий donate. ))
*

Fedor Vlasenko

  • Живу я здесь
  • 3845
  • 733 / 7
  • https://fedor-vlasenko.web.app
http://vinaora.com/vinaora-visitors-counter/
в этом решении фактически весь ваш функционал. Готовое, бесплатное решение. Адаптировать под J3 минут 20 займет
*

alex_a_k

  • Захожу иногда
  • 381
  • 21 / 0
http://vinaora.com/vinaora-visitors-counter/
в этом решении фактически весь ваш функционал. Готовое, бесплатное решение. Адаптировать под J3 минут 20 займет
Неужели вы думаете, что я перед началом не смотрел готовые решения?
Я видел его, и в целом он был похож по общим параметрам на нужное, но оказалось не совсем то, объясню почему...

1. Это просто счетчик. Алгоритм работы и структура таблицы базы не позволяет реализовать поставленную задачу.
Каждая запись хранит только количество посещений каждым типом (сколько было гостей, юзеров, ботов в одну единицу времени ), а не подробные записи по каждому посетителю. Вытянуть оттуда КТО КОНКРЕТНО заходил за последние N минут просто невозможно.
Адаптировать под свои нужды было бы громоздко да не стал из-за 2 пункта.

2. Там используется своя таблица.
Как я писал, если бы я изменил алгоритм и адаптировал ее структуру под свои нужды, то у меня она бы разрослась до неимоверных размеров.
Хотелось попробовать обойтись без этого и к тому же разобраться с вытягиванием данных из поля в таблице сессий. ))

3. Важно было СВОЁ решение.
И хотя моя идея базируется на другом решении из JE (вполне допускается), но оттуда взята только идея (более подходящая) + некоторые куски кода (поэтому многие переменные и элеметы шаблона даже не переименовывались).

4. Ну и все описанное в предыдущем посте...

Как-то так...
В любом случае, всем БОЛЬШОЕ СПАСИБО все задуманное РЕАЛИЗОВАНО! :D

Теперь можно подумать над МАКСИМАЛЬНО ОПТИМАЛЬНЫМ счетчиком, покумекаем? )))
« Последнее редактирование: 28.06.2013, 17:43:46 от alex_a_k »
Не жмитесь на "+" в репу!
А так же на мелкий donate. ))
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться
 

Вывод таблицы, деление на страницы

Автор March Cat

Ответов: 6
Просмотров: 1185
Последний ответ 09.01.2019, 18:49:15
от dmitry_stas
checkbox придать вид таблицы в файле XML

Автор xenos

Ответов: 5
Просмотров: 1643
Последний ответ 17.07.2017, 16:16:11
от vipiusss
SobiPro и SP-GeoMap поле

Автор dimat84

Ответов: 2
Просмотров: 2035
Последний ответ 02.08.2014, 11:36:22
от dimat84
Поле вывода календаря как d-m-Y. XML элемент календарь

Автор oppo

Ответов: 0
Просмотров: 1566
Последний ответ 19.07.2014, 15:43:47
от oppo
Про дополнительное поле регистрации Joomla 2.5

Автор NlCK

Ответов: 15
Просмотров: 2978
Последний ответ 04.06.2014, 09:32:34
от robert