Новости Joomla

Человек на GitHub ускорил Joomla в 600 раз на объёме 150к+ материалов в 1700+ категориях

Человек на GitHub ускорил Joomla в 600 раз на объёме 150к+ материалов в 1700+ категориях

👩‍💻 Человек на GitHub ускорил Joomla в 600 раз на объёме 150к+ материалов в 1700+ категориях. На старте его сайт на Joomla 3 вообще не смог обновиться на Joomla 5. Пришлось делать экспорт/импорт материалов. Проделав всё это он запустил-таки этот объём данных на Joomla 5. Тестовый скрипт грузил 200 материалов из этого объёма всего за 94 секунды ))) А главная страница с категориями грузилась 20 секунд. Добавив индекс для таблицы

#__content

CREATE INDEX idx_catid_state ON #__content (catid, state);
он сократил время загрузки категорий до 1 секунды. Затем наш герой решил поковырять SQL-запрос в
ArticleModel, который отвечает за выборку материалов. И решил заменить тип JOIN на
STRAIGHT_JOIN для категорий.
// ->from($db->quoteName('#__content', 'a'))->from(    $db->quoteName('#__content', 'a')    . ' STRAIGHT_JOIN ' . $db->quoteName('#__categories', 'c')    . ' ON ' . $db->quoteName('c.id') . ' = ' . $db->quoteName('a.catid'))// ->join('LEFT', $db->quoteName('#__categories', 'c'), $db->quoteName('c.id') . ' = ' . $db->quoteName('a.catid'))
Что сократило загрузку 200 материалов из 150к с 94 секунд до 5. К слову сказать, боевой сайт на Joomla 3 крутится на 12CPU 64GB рамы. А все манипуляции с кодом он делает на базовом 1CPU 1GB сервере и замеры скорости даны именно для базового сервера. Но это всё в дискуссии, хотя в идеале должно вылиться в Pull Requests. Мы - Open Source сообщество, где никто никому ничего не должен. Джунгли. Но человек ищет пути оптимизации Joomla и предлагает решения. Если оказать поддержку и предложить помощь хотя бы с тестированием самых разнообразных сценариев, то возможно эти улучшения смогут войти в ядро. Пусть не быстро, пусть через несколько лет, пусть не все, но войдут. Достаточно предложить руку помощи и приложить немного усилий.
Дискуссию на GitHub можно почитать здесь.@joomlafeed#joomla #community #php

0 Пользователей и 1 Гость просматривают эту тему.
  • 2 Ответов
  • 767 Просмотров
*

denxio

  • Захожу иногда
  • 172
  • 4 / 0
Как бороться с парсингом?
« : 10.07.2025, 11:15:13 »
Столкнулся с тем, на одном из сайтов, которые я администрирую, возникла подозрительная активность. Похоже, что это парсинг. Кто-то с таким сталкивался? Как с этим бороться?
*

sergeytolkachyov

  • Захожу иногда
  • 210
  • 20 / 0
  • @sergeytolkachyov https://web-tolk.ru
Re: Как бороться с парсингом?
« Ответ #1 : 10.07.2025, 12:02:48 »
Да никак особо не бороться. Скорее всего это краулеры ИИ. Их сейчас много разных. Всем им нужен контент для обучения, так как чтобы обучить нейронку нужно огромное количество контента. Люди, знакомые с этой сферой поговаривали, что весь интернет нейронки уже "съели" ещё года 2-3 назад, а им нужно всё больше. Поэтому обучают либо на синтетических данных (сгенерированных другими нейросетями), либо начинают парсить сайты. На robots.txt им плевать. По user agent фильтровать  - такое себе решение. Он легко подделывается и вы можете отсеять немалую часть реальных посетителей. Поэтому просто забить и всё.
*

denxio

  • Захожу иногда
  • 172
  • 4 / 0
Re: Как бороться с парсингом?
« Ответ #2 : 11.07.2025, 06:55:13 »
Спасибо за ответ.
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться
 

Левые ссылки на сайте. Как бороться?!

Автор k.upak

Ответов: 28
Просмотров: 1806
Последний ответ 20.02.2017, 20:18:44
от flyingspook
Постоянный взлом Joomla! 2.5.2 как бороться?

Автор renataakhm

Ответов: 14
Просмотров: 3733
Последний ответ 04.10.2015, 17:33:51
от wishlight
Вирусы на сайтах и как с ними бороться!

Автор romanln

Ответов: 4
Просмотров: 3044
Последний ответ 22.01.2015, 21:05:54
от wishlight
Странный отбойник и как с этим бороться?

Автор stardel

Ответов: 3
Просмотров: 6854
Последний ответ 06.03.2013, 12:35:55
от WebDisaster
Trojan-Downloader.HTML.Agent.is Что делать и как бороться?

Автор Do_it

Ответов: 6
Просмотров: 4123
Последний ответ 01.08.2008, 12:02:00
от sh2sh