Новости Joomla

Человек на GitHub ускорил Joomla в 600 раз на объёме 150к+ материалов в 1700+ категориях

Человек на GitHub ускорил Joomla в 600 раз на объёме 150к+ материалов в 1700+ категориях

👩‍💻 Человек на GitHub ускорил Joomla в 600 раз на объёме 150к+ материалов в 1700+ категориях. На старте его сайт на Joomla 3 вообще не смог обновиться на Joomla 5. Пришлось делать экспорт/импорт материалов. Проделав всё это он запустил-таки этот объём данных на Joomla 5. Тестовый скрипт грузил 200 материалов из этого объёма всего за 94 секунды ))) А главная страница с категориями грузилась 20 секунд. Добавив индекс для таблицы #__content

CREATE INDEX idx_catid_state ON #__content (catid, state);
он сократил время загрузки категорий до 1 секунды. Затем наш герой решил поковырять SQL-запрос в ArticleModel, который отвечает за выборку материалов. И решил заменить тип JOIN на STRAIGHT_JOIN для категорий.
// ->from($db->quoteName('#__content', 'a'))->from(    $db->quoteName('#__content', 'a')    . ' STRAIGHT_JOIN ' . $db->quoteName('#__categories', 'c')    . ' ON ' . $db->quoteName('c.id') . ' = ' . $db->quoteName('a.catid'))// ->join('LEFT', $db->quoteName('#__categories', 'c'), $db->quoteName('c.id') . ' = ' . $db->quoteName('a.catid'))
Что сократило загрузку 200 материалов из 150к с 94 секунд до 5. К слову сказать, боевой сайт на Joomla 3 крутится на 12CPU 64GB рамы. А все манипуляции с кодом он делает на базовом 1CPU 1GB сервере и замеры скорости даны именно для базового сервера. Но это всё в дискуссии, хотя в идеале должно вылиться в Pull Requests. Мы - Open Source сообщество, где никто никому ничего не должен. Джунгли. Но человек ищет пути оптимизации Joomla и предлагает решения. Если оказать поддержку и предложить помощь хотя бы с тестированием самых разнообразных сценариев, то возможно эти улучшения смогут войти в ядро. Пусть не быстро, пусть через несколько лет, пусть не все, но войдут. Достаточно предложить руку помощи и приложить немного усилий.
Дискуссию на GitHub можно почитать здесь.@joomlafeed#joomla #community #php

0 Пользователей и 1 Гость просматривают эту тему.
  • 7 Ответов
  • 4215 Просмотров
*

danik.html

  • Живу я здесь
  • 2650
  • 353 / 4
Я видел тут немало челов, у которых красуется надпись Разработчик расширений. Так вот, наверно им вопрос, ну и всем кто шарит в пхп)
Думаю эта проблема решается в любом каталоге, и вообще в любом компоненте, имеющим древовидную структуру.
Вопрос в следующем. имеется таблица с итемами, есть столбцы id, parent_id, и столбцы с информацией(описание, текст, даты)
Есть задачи - запрос одного или нескольких итемов по айди, вместе со всеми его потомками. Как правильно организвать этоо дело?
Я вижу решение таким-
делаем первый запрос всех итемов, возвращающий массив с id и parent_id
Строим дерево, по схеме в mod_mainmenu
Анализируем дерево, создавая массив нужных айди
Делаем запрос нужных нам итемов по айди, который уже возвращает все столбцы.
Строим дерево либо тем же способом, либо опираяс на уже построенное дерево состоящее из id

Верно ли я представляю решение? или это не оптимально?

зы. пытаюсь соптимизировать свой модуль mod_virtuemart_categories, а так же сделать модуль вывода всего VirtueMart ввиде дерева, с возможностью исключать некоторые категории, или отображать только одну из категорий.
【Мегапак Virtuemart:
 • метатеги (description,keywords)
 • заголовки (title)
 • красивые алиасы (чпу) без тормозов и дублей!
*

danik.html

  • Живу я здесь
  • 2650
  • 353 / 4
era спасибо за ссылку. Но мой вопрос звучит иначе. дерево я умею строить. для построения дерева из массива я использую метод, взятый из хелпера мод_мэйнменю.
Код: php
		$ids = array();
$ids[0] = true;
$last = null;
$unresolved = array();
// pop the first item until the array is empty if there is any item
if ( is_array($rows)) {
while (count($rows) && !is_null($row = array_shift($rows)))
{
if (array_key_exists($row->parent, $ids)) {
$row->ionly = $params->get('menu_images_link');
$menu->addNode($params, $row);

// record loaded parents
$ids[$row->id] = true;
} else {
// no parent yet so push item to back of list
// SAM: But if the key isn't in the list and we dont _add_ this is infinite, so check the unresolved queue
if(!array_key_exists($row->id, $unresolved) || $unresolved[$row->id] < $maxdepth) {
array_push($rows, $row);
// so let us do max $maxdepth passes
// TODO: Put a time check in this loop in case we get too close to the PHP timeout
if(!isset($unresolved[$row->id])) $unresolved[$row->id] = 1;
else $unresolved[$row->id]++;
}
}
}
}

Этот фрагмент перегоняет массив в $menu класса JTreeNode, в общем меня тут все устраивает. Вопрос другой: Как вытягивать из базы выборочные итемы? Все подряд вытягиваются без проблем, а вот выборочно - хз. Я так понимаю нужно в любом случае тянуть все итемы и строить дерево, иначе никак. Но я думаю лучше сделать сначала один запрос, который вернет маловесящий массив с айдишками, построить дерево, сделать анализ и второй раз уже тянуть толкьо то что нам нужно. Поясню на примере.
Есть такое дерево (в скобочках айди)

Категория 1(1)
    Категория 1-1(2)
    Категория 1-2(3)
        Категория 1-2-1(4)
        Категория 1-2-2(5)
    Категория 1-3(6)
Категория 2(5)

Задача стоит следующая - вывести Категорию 1 за исключением категорий 5 и 3

Если делать запрос и прописывать условие not in (2,3) то мы получим ненужные нам 4 и 5, ведь так? А это расходы памяти. Как я понимаю.
Просьба помочь разобраться) Модуль делаю(верней сделал) по большей части для народа а не себя.
era если затрудняешья ответить - подксажи хоть к кому обратиться )
【Мегапак Virtuemart:
 • метатеги (description,keywords)
 • заголовки (title)
 • красивые алиасы (чпу) без тормозов и дублей!
*

era

  • Администратор
  • 1588
  • 392 / 5
  • В туалете лучше быть пользователем, чем админом.
1. почему на базе мод_мэйнменю ? ты строишь дерева категорий VirtueMart или ты хочешь встроить это дерево в меню? поподробней опиши. Просто если ты делаешь на базе mainmenu, то там строятся объекты на каждый пункт - это ты по памяти точно прокакаешь там.
*

era

  • Администратор
  • 1588
  • 392 / 5
  • В туалете лучше быть пользователем, чем админом.
2. если нужно исключить кукую-то ветвь (категорию и все её подкатегории), то можешь тогда всё-таки в два прохода сделать:
   1) SELECT id, parent FROM #__xxx WHERE id not in (5,3) - ничего страшного. Даже есть плюс - если в id 5 есть ещё с десяток подкатегорий, то дерево ниже не построится, правда элементы из базы загрузятся, но не будут использоваться.
   2) вторым запросом вытягивай уже нужные данные, включив в условие только используемые записи:
        SELECT id, name, title FROM #__xxx WHERE id in (1,2,4,6)  (надеюсь там не 10 тысяч категорий :) )
*

danik.html

  • Живу я здесь
  • 2650
  • 353 / 4
Я написал модуль категорий VirtueMart (http://joomlaforum.ru/index.php/topic,109669.0.html)
Там есть опция Исключить категории. Так  же хочу сделать опцию Вывести Подкатегорию по id
Делал на основе мод_мэйнменю. Работает так: Выборка id, parent_id, other_columns, from ... where id not in (1,3,4)
Полученный результат ввиде массива цикличным перебором перегоняется в объект типа JMenuTree(код писал выше)
Вот как объявлен класс, и еще JMenuNode
 
Код: php
* Main Menu Tree Class.
 *
 * @package Joomla
 * @subpackage Menus
 * @since 1.5
 */
class JMenuTree extends JTree
{
/**
* Node/Id Hash for quickly handling node additions to the tree.
*/
var $_nodeHash = array();

/**
* Menu parameters
*/
var $_params = null;

/**
* Menu parameters
*/
var $_buffer = null;

function __construct(&$params)
{
$this->_params =& $params;
$this->_root = new JMenuNode(0, 'ROOT');
$this->_nodeHash[0] =& $this->_root;
$this->_current =& $this->_root;
}

function addNode(&$params, $item)
{
// Get menu item data
$data = $this->_getItemData($params, $item);

// Create the node and add it
$node = new JMenuNode($item->id, $item->name, $item->access, $data);

if (isset($item->mid)) {
$nid = $item->mid;
} else {
$nid = $item->id;
}
$this->_nodeHash[$nid] =& $node;
$this->_current =& $this->_nodeHash[$item->parent];

if ($item->type == 'menulink' && !empty($item->query['Itemid'])) {
$node->mid = $item->query['Itemid'];
}

if ($this->_current) {
$this->addChild($node, true);
} else {
// sanity check
JError::raiseError( 500, 'Orphan Error. Could not find parent for Item '.$item->id );
}
}

function toXML()
{
.............
}

function _getLevelXML($depth)
{
........
}

function _getItemData(&$params, $item)
{
.............
}
}

/**
 * Main Menu Tree Node Class.
 *
 * @package Joomla
 * @subpackage Menus
 * @since 1.5
 */
class JMenuNode extends JNode
{
/**
* Node Title
*/
var $title = null;

/**
* Node Link
*/
var $link = null;

/**
* CSS Class for node
*/
var $class = null;

function __construct($id, $title, $access = null, $link = null, $class = null)
{
$this->id = $id;
$this->title = $title;
$this->access = $access;
$this->link = $link;
$this->class = $class;
}
}

Что меня не устраивает:
1)мы делаем выборку "повисших" категорий, тоесть тех, чьи родители в списке исключений. А ведь они нахер не здались нам
2)мы не можем загрузить из базы определенную ветвь . Мы вынуждены грузить все записи, строить дерево из них и только потом можем вырвать нужную ветвь. это очень херово, особенно когда есть 10 000 категорий, а нам нужна только одна, с пятью подкатегориями.

В общем я порылся в литературе, читал про деревья и все такое. При такой модели без рекурсии не обойтись. Тоесть либо делаем рекурсию на PHP, с кучей запросов  в бд, либо пишем хранимую процедуру(кстати в мускуле такая фича есть хоть?)
Другие варианты - только другие модели, например nested sets(или както так), но переписывать весь вирт я не собираюс))

Но всетаки я думаю что в челом вариант описанный в шапке темы в целом более рациональный , как ты думаешь?
Да, в конкретных случаях это лишнее, делать два запроса, строить два дерева...Но в общем случае я думаю это лучше.

Например, у нас 1 000 категорий. верхнего уровня - 5, модуль работает по принципу меню жумлы - кликаешь по категории - она раскрывается(в новой странице) А теперь оценка обоих способов. Текущий способ сделает выборку всех 10 000( с описаниями, картинками, датами и тд) далее, построит дерево из 10 000 узлов, далее обрежет все ненужные узлы, оставив 5 штук.

Второй вариант будет работать  так: выборка 10 000 категорий, но только айдишники. Построение дерева из айдишников. Выборка 5 категорий(с описанием и тд) Построение дерева из 5 категорий(думаю на основе уже построенного по айди)

Какой оптимальней будет? И еще. нормально ли будет если в запросе будет множество из 9999 чисел? ну типа where id in (1,2,3,4,..,9999)


« Последнее редактирование: 01.06.2010, 00:45:16 от danik.html »
【Мегапак Virtuemart:
 • метатеги (description,keywords)
 • заголовки (title)
 • красивые алиасы (чпу) без тормозов и дублей!
*

danik.html

  • Живу я здесь
  • 2650
  • 353 / 4
наверно придется делать все варианты и тестировать. Не подскажешь как  профилировать код, или как ето назыается, ну типа время выполнения и по идее еще объем памяти схаванной выводить.
【Мегапак Virtuemart:
 • метатеги (description,keywords)
 • заголовки (title)
 • красивые алиасы (чпу) без тормозов и дублей!
*

era

  • Администратор
  • 1588
  • 392 / 5
  • В туалете лучше быть пользователем, чем админом.
Какой оптимальней будет? И еще. нормально ли будет если в запросе будет множество из 9999 чисел? ну типа where id in (1,2,3,4,..,9999)
Нет, тогда не надо так делать. Я думал у тебя будет на JS они по плюсику открываться.

тебе тогда больше подойдёт примерно такой вариант (на 7 уровней вложености):
Код
SELECT CONCAT(
 if( c1.id, CONCAT(
 if( c2.id, CONCAT(
 if( c3.id, CONCAT(
 if( c4.id, CONCAT(
 if( c5.id, CONCAT(
 if( c6.id, CONCAT(
 if( c7.id,
 CONCAT( REPLACE( c7.alias, '/', '-' ), '/' ),'')
 , CONCAT(  REPLACE( c6.alias, '/', '-' ), '/' ) ), '' )
 , CONCAT(  REPLACE( c5.alias, '/', '-' ), '/' ) ), '' )
 , CONCAT(  REPLACE( c4.alias, '/', '-' ), '/' ) ), '' )
 , CONCAT(  REPLACE( c3.alias, '/', '-' ), '/' ) ), '' )
 , CONCAT(  REPLACE( c2.alias, '/', '-' ), '/' ) ), '' )
 , CONCAT(  REPLACE( c1.alias, '/', '-' ), '/' ) ), '' ), CONCAT( c0.id, '-', REPLACE( c0.alias, '/', '-' ))) AS path
  FROM #__xxx as c0
 LEFT JOIN `#__xxx` as `c1` ON c1.id = c0.parent
 LEFT JOIN `#__xxx` as `c2` ON c2.id = c1.parent
 LEFT JOIN `#__xxx` as `c3` ON c3.id = c2.parent
 LEFT JOIN `#__xxx` as `c4` ON c4.id = c3.parent
 LEFT JOIN `#__xxx` as `c5` ON c5.id = c4.parent
 LEFT JOIN `#__xxx` as `c6` ON c6.id = c5.parent
 LEFT JOIN `#__xxx` as `c7` ON c7.id = c6.parent
 WHERE c0.id = <id_текущей_категории>

CONCAT(  REPLACE( c0.alias, '/', '-' ), '/' ) ), '' )  можешь поменять на своё условие какое-нить.
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться
 

Работа с базой данных

Автор SnowWind

Ответов: 9
Просмотров: 3168
Последний ответ 19.09.2014, 12:18:56
от Stasweb
Вывод данных из БД в форму

Автор motokraft

Ответов: 6
Просмотров: 3034
Последний ответ 15.06.2014, 00:02:29
от b2z
[Решено] Вопрос для знатоков php. Как правильно записать код?

Автор artemka

Ответов: 7
Просмотров: 1571
Последний ответ 13.06.2014, 18:16:47
от artemka
Вывод данных из базы

Автор limon142

Ответов: 2
Просмотров: 1181
Последний ответ 22.03.2014, 18:48:37
от verstalshik
Class 'JConfig' или получение данных configuration.php через обработку js.

Автор klubnichkaaa

Ответов: 5
Просмотров: 8561
Последний ответ 15.02.2014, 17:32:06
от cartgen