Новости Joomla

Человек на GitHub ускорил Joomla в 600 раз на объёме 150к+ материалов в 1700+ категориях

Человек на GitHub ускорил Joomla в 600 раз на объёме 150к+ материалов в 1700+ категориях

👩‍💻 Человек на GitHub ускорил Joomla в 600 раз на объёме 150к+ материалов в 1700+ категориях. На старте его сайт на Joomla 3 вообще не смог обновиться на Joomla 5. Пришлось делать экспорт/импорт материалов. Проделав всё это он запустил-таки этот объём данных на Joomla 5. Тестовый скрипт грузил 200 материалов из этого объёма всего за 94 секунды ))) А главная страница с категориями грузилась 20 секунд. Добавив индекс для таблицы #__content

CREATE INDEX idx_catid_state ON #__content (catid, state);
он сократил время загрузки категорий до 1 секунды. Затем наш герой решил поковырять SQL-запрос в ArticleModel, который отвечает за выборку материалов. И решил заменить тип JOIN на STRAIGHT_JOIN для категорий.
// ->from($db->quoteName('#__content', 'a'))->from(    $db->quoteName('#__content', 'a')    . ' STRAIGHT_JOIN ' . $db->quoteName('#__categories', 'c')    . ' ON ' . $db->quoteName('c.id') . ' = ' . $db->quoteName('a.catid'))// ->join('LEFT', $db->quoteName('#__categories', 'c'), $db->quoteName('c.id') . ' = ' . $db->quoteName('a.catid'))
Что сократило загрузку 200 материалов из 150к с 94 секунд до 5. К слову сказать, боевой сайт на Joomla 3 крутится на 12CPU 64GB рамы. А все манипуляции с кодом он делает на базовом 1CPU 1GB сервере и замеры скорости даны именно для базового сервера. Но это всё в дискуссии, хотя в идеале должно вылиться в Pull Requests. Мы - Open Source сообщество, где никто никому ничего не должен. Джунгли. Но человек ищет пути оптимизации Joomla и предлагает решения. Если оказать поддержку и предложить помощь хотя бы с тестированием самых разнообразных сценариев, то возможно эти улучшения смогут войти в ядро. Пусть не быстро, пусть через несколько лет, пусть не все, но войдут. Достаточно предложить руку помощи и приложить немного усилий.
Дискуссию на GitHub можно почитать здесь.@joomlafeed#joomla #community #php

0 Пользователей и 1 Гость просматривают эту тему.
  • 2 Ответов
  • 1373 Просмотров
*

bronepoezd27

  • Захожу иногда
  • 233
  • 1 / 1
Здравствуйте!
Посоветуйте пожалуйста где можно покупать хорошие прокси сервера для парсинга?
*

shurakana

  • Давно я тут
  • 792
  • 50 / 6
Re: Прокси сервера для парсинга?
« Ответ #1 : 15.08.2015, 14:29:23 »
90% сайтов можно парсить и без прокси, главное не борщить с количеством запросов.
А Яндекс.маркет и прочие гиганты просто так не дадутся..
Эта подпись отображается внизу каждого Моего сообщения. Я также могу использовать BB код и смайлы.
*

bronepoezd27

  • Захожу иногда
  • 233
  • 1 / 1
Re: Прокси сервера для парсинга?
« Ответ #2 : 15.08.2015, 14:34:37 »
Мне прокси нужны для того, чтобы парсинг, например из кей коллектора был по нескольким проектам и для этого нужно несколько айпишников. Просто если я буду с одного, то это долго и могут забанить...
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться
 

Как сделать код ответа сервера 404 у страницы ошибки в Joomla?

Автор Dim

Ответов: 0
Просмотров: 1189
Последний ответ 20.12.2018, 19:59:32
от Dim
Время ответа сервера превысило допустимые значения

Автор Galina2307

Ответов: 1
Просмотров: 1336
Последний ответ 05.07.2016, 17:31:04
от Филипп Сорокин
Большое время отклика сервера

Автор Rabbiteggs

Ответов: 0
Просмотров: 1484
Последний ответ 24.09.2014, 09:12:17
от Rabbiteggs
Сайт не индексируется поисковиками или проблема сервера...

Автор konstantinopol

Ответов: 1
Просмотров: 1880
Последний ответ 26.01.2011, 02:10:44
от ChaosHead
Где находится и как загрузить файл журнала доступа сервера access.log?

Автор dikiy1959

Ответов: 2
Просмотров: 6035
Последний ответ 27.08.2009, 14:09:50
от dikiy1959