Новости Joomla

Человек на GitHub ускорил Joomla в 600 раз на объёме 150к+ материалов в 1700+ категориях

Человек на GitHub ускорил Joomla в 600 раз на объёме 150к+ материалов в 1700+ категориях

👩‍💻 Человек на GitHub ускорил Joomla в 600 раз на объёме 150к+ материалов в 1700+ категориях. На старте его сайт на Joomla 3 вообще не смог обновиться на Joomla 5. Пришлось делать экспорт/импорт материалов. Проделав всё это он запустил-таки этот объём данных на Joomla 5. Тестовый скрипт грузил 200 материалов из этого объёма всего за 94 секунды ))) А главная страница с категориями грузилась 20 секунд. Добавив индекс для таблицы #__content

CREATE INDEX idx_catid_state ON #__content (catid, state);
он сократил время загрузки категорий до 1 секунды. Затем наш герой решил поковырять SQL-запрос в ArticleModel, который отвечает за выборку материалов. И решил заменить тип JOIN на STRAIGHT_JOIN для категорий.
// ->from($db->quoteName('#__content', 'a'))->from(    $db->quoteName('#__content', 'a')    . ' STRAIGHT_JOIN ' . $db->quoteName('#__categories', 'c')    . ' ON ' . $db->quoteName('c.id') . ' = ' . $db->quoteName('a.catid'))// ->join('LEFT', $db->quoteName('#__categories', 'c'), $db->quoteName('c.id') . ' = ' . $db->quoteName('a.catid'))
Что сократило загрузку 200 материалов из 150к с 94 секунд до 5. К слову сказать, боевой сайт на Joomla 3 крутится на 12CPU 64GB рамы. А все манипуляции с кодом он делает на базовом 1CPU 1GB сервере и замеры скорости даны именно для базового сервера. Но это всё в дискуссии, хотя в идеале должно вылиться в Pull Requests. Мы - Open Source сообщество, где никто никому ничего не должен. Джунгли. Но человек ищет пути оптимизации Joomla и предлагает решения. Если оказать поддержку и предложить помощь хотя бы с тестированием самых разнообразных сценариев, то возможно эти улучшения смогут войти в ядро. Пусть не быстро, пусть через несколько лет, пусть не все, но войдут. Достаточно предложить руку помощи и приложить немного усилий.
Дискуссию на GitHub можно почитать здесь.@joomlafeed#joomla #community #php

0 Пользователей и 1 Гость просматривают эту тему.
  • 21 Ответов
  • 1434 Просмотров
*

Mick_20

  • Завсегдатай
  • 1029
  • 13 / 0
  • Что тут писать?
Учусь использовать внутренние команды Joomla.
Написал вывод инфы из 2х таблиц, но он работает медленно - запросов много делает.

Можете оценить реализацию и дать советы?

Код: php
		$db = JFactory::getDbo();
$query = $db->getQuery(true);
$query->select('private_code,receipt_name'); //достаю все квитанции
$query->from('#__action_receipt');
$query->where("content_id = 239");
$db->setQuery($query) or die("запрос1 не сработал");
$data = $db->loadObjectList();

foreach ($data as $var)
{
$receipts[] = $var->receipt_name;
$code_array[] = $var->private_code;
}

$a=0;
for ($i=0; $i < count($code_array); $i++)
{
$a++;
$rec = $receipts[$i];
$code = $code_array[$i];
$receipt_view = "<a href='user_receipts/sale/{$rec}' target='_blank'>{$rec}</a>";

$query = $db->getQuery(true);
$query->select('member');//вывожу пользователя по коду квитанции
$query->from('#__actions_members');
$query->where("private_code = '{$code}'");
$db->setQuery($query) or die("запрос1 не сработал");
$member = $db->loadResult();

$query = $db->getQuery(true);
$query->select('supervisor');//вывожу куратора по коду квитанции
$query->from('#__actions_members');
$query->where("private_code = '{$code}'");
$db->setQuery($query) or die("запрос1 не сработал");
$supervisor = $db->loadResult();

$query = $db->getQuery(true);
$query->select('email');
$query->from('#__actions_members');
$query->where("private_code = '{$code}'");
$db->setQuery($query) or die("запрос1 не сработал");
$email = $db->loadResult();


$tab .= "<tr><td>{$a}</td><td>{$member}</td><td>{$supervisor}</td><td>{$email}</td><td>{$receipt_view}</td></tr>";


}

echo "<table>{$tab}</table>";
Мой сайт про корабли
*

flyingspook

  • Живу я здесь
  • 3590
  • 247 / 9
Re: Оптимизировать кол-во запросов
« Ответ #1 : 22.01.2014, 08:19:32 »
а зачем проверка, и три запроса, еще и префикс можно добавить таблиц
*

Arkadiy

  • Гуру
  • 5317
  • 463 / 2
  • Крепитесь, други.
Re: Оптимизировать кол-во запросов
« Ответ #2 : 22.01.2014, 10:07:18 »
Запросы в цикле есть очень плохо, можно и подавиться. Надо брать всю информацию одним запросом с использованием джойнов или подзапросов.
*

b2z

  • Глобальный модератор
  • 7287
  • 778 / 0
  • Разраблю понемногу
Re: Оптимизировать кол-во запросов
« Ответ #3 : 22.01.2014, 11:46:36 »
Mick_20 Вам нужно сначала не внутренние команды Joomla изучить, а как правильно строить SQL запросы.
*

Aleks.Denezh

  • Живу я здесь
  • 3401
  • 428 / 4
Re: Оптимизировать кол-во запросов
« Ответ #4 : 22.01.2014, 13:19:00 »
Для начала вам нужно выучить SQL!
В Joomla подобный код: $db->setQuery($query) or die("запрос1 не сработал");  бред!
Дальше нам бы увидеть структуру ваших таблиц, а вам бы почитать про JOIN в sql!
Я уже молчу про эти три запроса:

Код: php
$query = $db->getQuery(true);
$query->select('member');//вывожу пользователя по коду квитанции
$query->from('#__actions_members');
$query->where("private_code = '{$code}'");
$db->setQuery($query) or die("запрос1 не сработал");
$member = $db->loadResult();
 
$query = $db->getQuery(true);
$query->select('supervisor');//вывожу куратора по коду квитанции
$query->from('#__actions_members');
$query->where("private_code = '{$code}'");
$db->setQuery($query) or die("запрос1 не сработал");
$supervisor = $db->loadResult();
 
$query = $db->getQuery(true);
$query->select('email');
$query->from('#__actions_members');
$query->where("private_code = '{$code}'");
$db->setQuery($query) or die("запрос1 не сработал");
$email = $db->loadResult();

Даже в таком виде все это можно сократить до:
Код: php
$query = $db->getQuery(true);
$query->select('member, supervisor, email')
->from('#__actions_members')
->where("private_code = '{$code}'");
$user= $db->setQuery($query)->loadObject();
$tab .= "<tr><td>{$a}</td><td>{$user->member}</td><td>{$user->supervisor}</td><td>{$email}</td><td>{$user->receipt_view}</td></tr>";


А вообще подозреваю что ваш код можно сократить до:
Код: php
$query = $db->getQuery(true);
$query->select('r.private_code, r.receipt_name, m.member, m.supervisor, m.email')
->from('#__action_receipt AS r')
->leftJoint('#__actions_members AS m ON r.private_code=m.private_code')
->where("r.content_id = 239");
$list= $db->setQuery($query)->loadObjectList();
Посмотрите или в list будет все что вам нужно..и выводите в цикле

« Последнее редактирование: 22.01.2014, 13:25:07 от Istaan »
*

Mick_20

  • Завсегдатай
  • 1029
  • 13 / 0
  • Что тут писать?
Re: Оптимизировать кол-во запросов
« Ответ #5 : 22.01.2014, 13:58:54 »
спасибо. обязательно разберусь
Мой сайт про корабли
*

Mick_20

  • Завсегдатай
  • 1029
  • 13 / 0
  • Что тут писать?
Re: Оптимизировать кол-во запросов
« Ответ #6 : 24.01.2014, 11:27:50 »
Скажите почему не сортирует по столбцу supervisor

Код: sql
$query->select('member, supervisor, email')
->from('#__actions_members')
->where("private_code = '{$code}'")
->order("supervisor");
$user= $db->setQuery($query)->loadObject();
Мой сайт про корабли
*

flyingspook

  • Живу я здесь
  • 3590
  • 247 / 9
Re: Оптимизировать кол-во запросов
« Ответ #7 : 24.01.2014, 11:54:07 »
а что пытаетесь отсортировать? asc или desc
вы просто мануалы запросов (работу с mysql) сначала посмотрите потом разберетесь и в движке, изначально азы нужны и общие понятия как php так и работы с MySQL, а потом уже и на любом фреймворке разберетесь
http://www.mysql.ru/docs/man/ORDER_BY_optimisation.html
http://www.mysql.ru/docs/man/Sorting_rows.html
*

Mick_20

  • Завсегдатай
  • 1029
  • 13 / 0
  • Что тут писать?
Re: Оптимизировать кол-во запросов
« Ответ #8 : 24.01.2014, 12:48:43 »
а что пытаетесь отсортировать? asc или desc
вы просто мануалы запросов (работу с mysql) сначала посмотрите потом разберетесь и в движке, изначально азы нужны и общие понятия как php так и работы с MySQL, а потом уже и на любом фреймворке разберетесь
http://www.mysql.ru/docs/man/ORDER_BY_optimisation.html
http://www.mysql.ru/docs/man/Sorting_rows.html

Да вроде понятно - ASC по порядку, DESC в обратном порядке.

Я сортировал уже по полю supervisor и работало - вот:
Код: sql
		$query->select('private_code,member,supervisor,email');
$query->from('#__actions_members');
$query->where("content_id = 239 AND provereno='0'");
$query->order('supervisor');

Не понимаю в чем проблема(
Мой сайт про корабли
*

b2z

  • Глобальный модератор
  • 7287
  • 778 / 0
  • Разраблю понемногу
Re: Оптимизировать кол-во запросов
« Ответ #9 : 24.01.2014, 12:54:43 »
Не помню, но возможно порядок нужен обязательно:
Код: php
$query->order('supervisor DESC');
*

Mick_20

  • Завсегдатай
  • 1029
  • 13 / 0
  • Что тут писать?
Re: Оптимизировать кол-во запросов
« Ответ #10 : 24.01.2014, 13:05:08 »
Не помню, но возможно порядок нужен обязательно:
Код: php
$query->order('supervisor DESC');
НЕ работает в таком виде

Код: sql
			$query = $db->getQuery(true);
$query->select('member,supervisor,email')
->from('#__actions_members')
->where("private_code = '{$code}'")
->order('supervisor DESC');
$user= $db->setQuery($query)->loadObject();

А так работает даже без порядка
Код: php
		$query = $db->getQuery(true);
$query->select('private_code,member,supervisor,email');
$query->from('#__actions_members');
$query->where("content_id = 239 AND provereno='0'");
$query->order('supervisor');
Мой сайт про корабли
*

Aleks.Denezh

  • Живу я здесь
  • 3401
  • 428 / 4
Re: Оптимизировать кол-во запросов
« Ответ #11 : 24.01.2014, 13:06:36 »
а $query->order('supervisor ASC'); ?
и да какая должна быть сортировка если вы выбираете одиночную запись по полю private_code = {$code}  ?!
*

Mick_20

  • Завсегдатай
  • 1029
  • 13 / 0
  • Что тут писать?
Re: Оптимизировать кол-во запросов
« Ответ #12 : 24.01.2014, 13:08:12 »
а $query->order('supervisor ASC'); ?
и да какая должна быть сортировка если вы выбираете одиночную запись по полю private_code = {$code}  ?!
нет не работает
Мой сайт про корабли
*

Mick_20

  • Завсегдатай
  • 1029
  • 13 / 0
  • Что тут писать?
Re: Оптимизировать кол-во запросов
« Ответ #13 : 24.01.2014, 13:09:18 »
а $query->order('supervisor ASC'); ?
и да какая должна быть сортировка если вы выбираете одиночную запись по полю private_code = {$code}  ?!

блииииин (((( точна.... у меня этот запрос в подцикле и тащит по одной записи((
Мой сайт про корабли
*

Mick_20

  • Завсегдатай
  • 1029
  • 13 / 0
  • Что тут писать?
Re: Оптимизировать кол-во запросов
« Ответ #14 : 24.01.2014, 13:23:05 »
Пробую брать данные из БД в одном запросе как советовали:

Код: sql
$db = JFactory::getDbo();
$query = $db->getQuery(true);
$query->select('r.private_code, r.receipt_name, m.member, m.supervisor, m.email')
->from('#__action_receipt AS r')
->leftJoint('#__actions_members AS m ON r.private_code=m.private_code')
->where("r.content_id = 239");
$list= $db->setQuery($query)->loadObjectList();

Выдает ошибку: Fatal error: Call to a member function where() on a non-object in /uspeh.tspu.ru/zzz/sales/output_receipts.php on line 10 Fatal error: Access to undeclared static property: JLoader::$classes in /uspeh.tspu.ru/libraries/loader.php on line 195

Может такая структура запроса не поддерживается? Joomla 2.5
Мой сайт про корабли
*

Aleks.Denezh

  • Живу я здесь
  • 3401
  • 428 / 4
Re: Оптимизировать кол-во запросов
« Ответ #15 : 24.01.2014, 13:26:32 »
Может такая структура запроса не поддерживается? Joomla 2.5
Все проддерживается ) Банальная очепятка ) там где ->leftJoint('#__actions_members AS m ON r.private_code=m.private_code')
ошибка должно быть ->leftJoin('#__actions_members AS m ON r.private_code=m.private_code') лишняя буква t в конце leftJoin  ;D
*

Mick_20

  • Завсегдатай
  • 1029
  • 13 / 0
  • Что тут писать?
Re: Оптимизировать кол-во запросов
« Ответ #16 : 24.01.2014, 13:30:54 »
хоспоти проштите меня грешного. ничего сам не могу(
заработало) спасибо)
Мой сайт про корабли
*

Aleks.Denezh

  • Живу я здесь
  • 3401
  • 428 / 4
Re: Оптимизировать кол-во запросов
« Ответ #17 : 24.01.2014, 13:39:37 »
хоспоти проштите меня грешного. ничего сам не могу(
заработало) спасибо)
Запрос хоть работает как надо?) ато писал на глаз, не видя структуры данных будет чудом если он с первого раза запашет ))
*

Mick_20

  • Завсегдатай
  • 1029
  • 13 / 0
  • Что тут писать?
Re: Оптимизировать кол-во запросов
« Ответ #18 : 24.01.2014, 14:48:06 »
Запрос хоть работает как надо?) ато писал на глаз, не видя структуры данных будет чудом если он с первого раза запашет ))
да ЧУДО! )) - правильно работает. я его на глаз проверил перед копированием)
Мой сайт про корабли
*

Mick_20

  • Завсегдатай
  • 1029
  • 13 / 0
  • Что тут писать?
Re: Оптимизировать кол-во запросов
« Ответ #19 : 26.01.2014, 13:23:36 »
А как отсортировать по двум полям? Сначало по m.supervisor потом по m.member?

Список участников по разному иногда выводится. Т к у одного supervisor по несколько member.

Например два раза зашел смотреть список:
1) Участник   |  Куратор
    ааааа        |  AAA
    bbbbb        |  AAA
    ccccc        |  AAA

2) Участник   |  Куратор
    ccccc        |  AAA
    bbbbb        |  AAA
    aaaaa        |  AAA

Код: sql
$query = $db->getQuery(true);
$query->select('r.private_code, r.receipt_name, m.member, m.id, m.supervisor, m.email,m.provereno')
->from('#__action_receipt AS r')
->leftJoin('#__actions_members AS m ON r.private_code=m.private_code')
->where("r.content_id = 239")
->order('m.supervisor');
$list= $db->setQuery($query)->loadObjectList();
« Последнее редактирование: 26.01.2014, 13:27:05 от Mick_20 »
Мой сайт про корабли
*

b2z

  • Глобальный модератор
  • 7287
  • 778 / 0
  • Разраблю понемногу
*

Mick_20

  • Завсегдатай
  • 1029
  • 13 / 0
  • Что тут писать?
Re: Оптимизировать кол-во запросов
« Ответ #21 : 27.01.2014, 19:16:20 »
о как. просто чз запятую.спс
Мой сайт про корабли
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться
 

Несколько запросов в $db->setQuery. Как ?

Автор softman_xp

Ответов: 45
Просмотров: 13181
Последний ответ 27.04.2010, 04:22:15
от atlantech