Новости Joomla

SW JProjects v.2.6.0 - компонент каталога расширений для Joomla

👩‍💻 SW JProjects v.2.6.0 - компонент каталога расширений для Joomla.Компонент позволяет сделать свой мини-Joomla Extensions Directory - каталог расширений для CMS (не только для Joomla) или файлов. Есть возможность скачивания по лицензионным ключам.👩‍💻 v.2.6.0. Что нового?Этот релиз прежде всего связан с SEO и AI-оптимизацией. - Микроразметка Schema.org.Добавлен плагин микроразметки Schema.org для сущностей компонента. Для списков используется ListItem, для страницы проекта и версии - SoftwareApplication, для страницы документации - TechArticle. Плагин группы schemaorg в отличие от стандартных плагинов заполняет данные автоматически, но встраивает данные в граф сущностей микроразметки Joomla. Также исправляется одна ошибка генерируемой ядром микроразметки в зоне ответственности компонента.- Улучшение поиска по ключам. В панели администратора в списке ключей теперь можно искать по номеру заказа, email, домену, содержимому примечания к ключу.- Список ключей в админке. В списке ключей в панели администратора добавлен вывод домена и примечания- Поиск в списке проектов. Поиск в списке проектов в панели администратора стал более точным. Из полей для поиска убраны лишние поля.Компонент работает на Joomla 6 без включённого плагина обратной совместимости.Страница расширения и скачатьGitHub расширения.Joomla Extensions Directory#joomla #расширения

Человек на GitHub ускорил Joomla в 600 раз на объёме 150к+ материалов в 1700+ категориях

Человек на GitHub ускорил Joomla в 600 раз на объёме 150к+ материалов в 1700+ категориях

👩‍💻 Человек на GitHub ускорил Joomla в 600 раз на объёме 150к+ материалов в 1700+ категориях. На старте его сайт на Joomla 3 вообще не смог обновиться на Joomla 5. Пришлось делать экспорт/импорт материалов. Проделав всё это он запустил-таки этот объём данных на Joomla 5. Тестовый скрипт грузил 200 материалов из этого объёма всего за 94 секунды ))) А главная страница с категориями грузилась 20 секунд. Добавив индекс для таблицы #__content

CREATE INDEX idx_catid_state ON #__content (catid, state);
он сократил время загрузки категорий до 1 секунды. Затем наш герой решил поковырять SQL-запрос в ArticleModel, который отвечает за выборку материалов. И решил заменить тип JOIN на STRAIGHT_JOIN для категорий.
// ->from($db->quoteName('#__content', 'a'))->from(    $db->quoteName('#__content', 'a')    . ' STRAIGHT_JOIN ' . $db->quoteName('#__categories', 'c')    . ' ON ' . $db->quoteName('c.id') . ' = ' . $db->quoteName('a.catid'))// ->join('LEFT', $db->quoteName('#__categories', 'c'), $db->quoteName('c.id') . ' = ' . $db->quoteName('a.catid'))
Что сократило загрузку 200 материалов из 150к с 94 секунд до 5. К слову сказать, боевой сайт на Joomla 3 крутится на 12CPU 64GB рамы. А все манипуляции с кодом он делает на базовом 1CPU 1GB сервере и замеры скорости даны именно для базового сервера. Но это всё в дискуссии, хотя в идеале должно вылиться в Pull Requests. Мы - Open Source сообщество, где никто никому ничего не должен. Джунгли. Но человек ищет пути оптимизации Joomla и предлагает решения. Если оказать поддержку и предложить помощь хотя бы с тестированием самых разнообразных сценариев, то возможно эти улучшения смогут войти в ядро. Пусть не быстро, пусть через несколько лет, пусть не все, но войдут. Достаточно предложить руку помощи и приложить немного усилий.
Дискуссию на GitHub можно почитать здесь.@joomlafeed#joomla #community #php

0 Пользователей и 1 Гость просматривают эту тему.
  • 113 Ответов
  • 5447 Просмотров
*

HumanVW

  • Захожу иногда
  • 64
  • 1 / 0
Re: Медленный SQL запрос на Joomla 3.6.2
« Ответ #60 : 08.09.2016, 22:02:38 »
Установитл компонент, очистил кеш, зашел в материал - заполнил все поля и капчу. Все работает!
*

zomby6888

  • Завсегдатай
  • 1473
  • 171 / 3
Re: Медленный SQL запрос на Joomla 3.6.2
« Ответ #61 : 08.09.2016, 23:38:43 »
Цитировать
Ради интереса очистите таблицу #__assets и скорость станет моментальной...

А где в этом конкретном запросе выборка из assets?
интернет-блог: http://websiteprog.ru
*

ChaosHead

  • Гуру
  • 5242
  • 451 / 13
Re: Медленный SQL запрос на Joomla 3.6.2
« Ответ #62 : 09.09.2016, 00:32:49 »
Когда на странице отображается любой материал, то идёт запрос к ней. Т.к. в 3 сделали права доступа к каждому конкретному материалу. После перехода на 3 мы (тут на форуме) увидели общее снижение производительности из-за этого. Нагрузка не моментальная, как у вас, но при высокой посещаемости очень даже ощутимая.
Т.е. с одной стороны в Joomla очень крутая ACL прямо из коробки, но есть и расплата за это.
« Последнее редактирование: 09.09.2016, 00:41:40 от ChaosHead »
*

zomby6888

  • Завсегдатай
  • 1473
  • 171 / 3
Re: Медленный SQL запрос на Joomla 3.6.2
« Ответ #63 : 09.09.2016, 03:28:25 »
Печально это все. В конце концов на фронтенде можно было бы сделать проверку прав опционально. С такими запросами com_content просто неприменим для большого кол-ва материалов. А это новостные, вики-сайты и прочие. Довольно большой сегмент. Получается что тут либо cck использовать(которые вообщем то тоже особой скоростью не блещут) или самопис.
интернет-блог: http://websiteprog.ru
*

Aleks.Denezh

  • Живу я здесь
  • 3401
  • 428 / 4
Re: Медленный SQL запрос на Joomla 3.6.2
« Ответ #64 : 09.09.2016, 08:54:46 »
Печально это все. В конце концов на фронтенде можно было бы сделать проверку прав опционально. С такими запросами com_content просто неприменим для большого кол-ва материалов. А это новостные, вики-сайты и прочие. Довольно большой сегмент. Получается что тут либо cck использовать(которые вообщем то тоже особой скоростью не блещут) или самопис.
увы так и есть.. чем больше будет материалов в com_content тем медленнее будет работать Joomla.. я как то переносил новостной портал с 1.5 в тройку.. после 30 тысяч материалов сохранение в админке одного материала занимало полторы минуты!
*

HumanVW

  • Захожу иногда
  • 64
  • 1 / 0
Re: Медленный SQL запрос на Joomla 3.6.2
« Ответ #65 : 09.09.2016, 08:58:21 »
У меня сейчас 30 000 и сохранение менее 5 сек.
*

Aleks.Denezh

  • Живу я здесь
  • 3401
  • 428 / 4
Re: Медленный SQL запрос на Joomla 3.6.2
« Ответ #66 : 09.09.2016, 09:07:32 »
У меня сейчас 30 000 и сохранение менее 5 сек.
в com_content? Возможно что то и поменяли, или оптимизировали.. либо у вас сервер офигенный.. но раньше это было так..и это было заметно даже не через админку, а на момент парсинга материалов со старого сайта в новый.. первый тысяч 10 пропарсились почти моментально, а в итоге сам парсинг занял двое суток..
*

ChaosHead

  • Гуру
  • 5242
  • 451 / 13
Re: Медленный SQL запрос на Joomla 3.6.2
« Ответ #67 : 09.09.2016, 09:29:24 »
в com_content? Возможно что то и поменяли, или оптимизировали.. либо у вас сервер офигенный.. но раньше это было так..и это было заметно даже не через админку, а на момент парсинга материалов со старого сайта в новый.. первый тысяч 10 пропарсились почти моментально, а в итоге сам парсинг занял двое суток..
Сейчас не всё так печально, многое исправили. У меня хорошо держит большое кол-во материалов. Wp на таком количестве тоже не самолёт кстати, пробовал.
*

zomby6888

  • Завсегдатай
  • 1473
  • 171 / 3
Re: Медленный SQL запрос на Joomla 3.6.2
« Ответ #68 : 09.09.2016, 12:39:55 »
Прямо таки напришивается создание какого нибудь com_content_light для вывода материалов из com_content. Может быть даже удастся прикрутить к нему нормальный роутинг.
интернет-блог: http://websiteprog.ru
*

Aleks.Denezh

  • Живу я здесь
  • 3401
  • 428 / 4
Re: Медленный SQL запрос на Joomla 3.6.2
« Ответ #69 : 09.09.2016, 12:50:42 »
Прямо таки напришивается создание какого нибудь com_content_light для вывода материалов из com_content. Может быть даже удастся прикрутить к нему нормальный роутинг.
я уже давно это сделал, с более менее вменяемым роутингом, ну по крайней мере не с таким количеством косяков  ;)
*

Филипп Сорокин

  • Завсегдатай
  • 1918
  • 160 / 4
  • разработчик.москва
Re: Медленный SQL запрос на Joomla 3.6.2
« Ответ #70 : 09.09.2016, 13:02:05 »
Прямо таки напришивается создание какого нибудь com_content_light для вывода материалов из com_content. Может быть даже удастся прикрутить к нему нормальный роутинг.
В большинстве случаев com_content хватает за глаза. Есть специфические задачи -- ну для них нужно писать отдельный компонент. Стандартом одним не охватишь узкоспециализированные вещи.
*

zomby6888

  • Завсегдатай
  • 1473
  • 171 / 3
Re: Медленный SQL запрос на Joomla 3.6.2
« Ответ #71 : 09.09.2016, 13:07:32 »
Цитировать
В большинстве случаев com_content хватает за глаза

Эта тема доказывает что com_content совершенно неприменим если материалов более чем несколько тысяч. Неоптимизированные запросы и большое кол-во лишнего функционала вызывают жуткие тормоза. Даже 6 секунд на запрос это полный капец.
интернет-блог: http://websiteprog.ru
*

Филипп Сорокин

  • Завсегдатай
  • 1918
  • 160 / 4
  • разработчик.москва
Re: Медленный SQL запрос на Joomla 3.6.2
« Ответ #72 : 09.09.2016, 13:19:45 »
Эта тема доказывает что com_content совершенно неприменим если материалов более чем несколько тысяч. Неоптимизированные запросы и большое кол-во лишнего функционала вызывают жуткие тормоза. Даже 6 секунд на запрос это полный капец.
Неоптимизированные запросы - отчасти да (пока ещё никто не предложил, как сделать лучше), большое кол-во лишнего функционала - с этим не согласен. Просто для широкой аудитории нет ничего ненужного: кто-то использует какие-то вещи, кто-то не использует. Но 27 000 материалов - для этих целей нужна другая архитектура приложения, к гадалке не ходи. Допустим, взять автора, у него там что-то с музыкой связано. Возможно, для каждой позиции и не обязательно создавать целую статью -- здесь всё зависит от задач.
*

zomby6888

  • Завсегдатай
  • 1473
  • 171 / 3
Re: Медленный SQL запрос на Joomla 3.6.2
« Ответ #73 : 09.09.2016, 13:34:47 »
Цитировать
Просто для широкой аудитории нет ничего ненужного: кто-то использует какие-то вещи, кто-то не использует

В таких случае функционал добавляется опционально. Половина людей не используют assets и content_history. Я уж не говорю обо всяких мелких прибамбасах. Какой смысл терпеть тормоза из-за ненужных фичей?
интернет-блог: http://websiteprog.ru
*

malexv

  • Захожу иногда
  • 55
  • 0 / 0
Re: Медленный SQL запрос на Joomla 3.6.2
« Ответ #74 : 09.09.2016, 13:47:16 »
Установитл компонент, очистил кеш, зашел в материал - заполнил все поля и капчу. Все работает!
да, я проверил, работает, спасибо, извините что ввел в заблуждение

по поводу нагрузки, все так и осталось, нагрузка как была почти 100% так и осталась ((( что делать не знаю, может кто подскажет?
*

HumanVW

  • Захожу иногда
  • 64
  • 1 / 0
Re: Медленный SQL запрос на Joomla 3.6.2
« Ответ #75 : 09.09.2016, 13:55:04 »
да, я проверил, работает, спасибо, извините что ввел в заблуждение

по поводу нагрузки, все так и осталось, нагрузка как была почти 100% так и осталась ((( что делать не знаю, может кто подскажет?
Откуда нагрузка, нужны более точное описание. Скажите что за сайт, сервер, сколько в день визитов ?
*

malexv

  • Захожу иногда
  • 55
  • 0 / 0
Re: Медленный SQL запрос на Joomla 3.6.2
« Ответ #76 : 09.09.2016, 14:10:50 »
Откуда нагрузка, нужны более точное описание. Скажите что за сайт, сервер, сколько в день визитов ?
новостной сайт, около 7 000 новостей
сервер:
стоит 3 ядра, 2 гб оперативы
Apache   2.2.15-39.el6.centos
MySQL   5.1.73-3.el6_5
PHP   5.3.29-2.el6
Perl   5.10.1-136.el6_6.1
Kernel   2.6.32-504.16.2.el6.x86_64

в день при нормальной работе было от 3 до 4 тыс. в сутки, доходило и до 10 и 12, все работало отлично, как обновил до 3.6.2 стало ужасно с загрузкой, используется прогрессивное кеширование, при обновлении кеша вообще ложится MySQL

вот нагрузка:

вчера скидывал запросы и профилирование http://joomlaforum.ru/index.php/topic,330469.msg1664026.html#msg1664026
*

HumanVW

  • Захожу иногда
  • 64
  • 1 / 0
Re: Медленный SQL запрос на Joomla 3.6.2
« Ответ #77 : 09.09.2016, 14:20:42 »
Плагин кеш включен ? Используете xcache для ускорения php ?
*

HumanVW

  • Захожу иногда
  • 64
  • 1 / 0
Re: Медленный SQL запрос на Joomla 3.6.2
« Ответ #78 : 09.09.2016, 14:30:25 »
Делал ? Если нет зайди в свою базу и вверху нажми SQL и вставить этот запрос и нажми ОК.

DELETE FROM `cdnlp_assets` WHERE `name` LIKE '%com_content.article.%' AND `id`!=1
*

HumanVW

  • Захожу иногда
  • 64
  • 1 / 0
Re: Медленный SQL запрос на Joomla 3.6.2
« Ответ #79 : 09.09.2016, 14:33:18 »
У тебя очень много расширений, Joomla не может их так быстро обрабатывать. Точечным советом здесь непомочь, нужно полный анализ сайта, удаление ненужных и тяжеловесных (компонентом, плагинов, модулей), настройка сайта + сервера.
*

draff

  • Гуру
  • 5801
  • 434 / 7
  • ищу работу
Re: Медленный SQL запрос на Joomla 3.6.2
« Ответ #80 : 09.09.2016, 14:35:18 »
А кто сказал что прогрессивное кеширование создает меньшую нагрузку на хостинг, чем стандартное.
Проверьте сколько запросов от Яндекс и Google ботов в пики нагрузки.
*

malexv

  • Захожу иногда
  • 55
  • 0 / 0
Re: Медленный SQL запрос на Joomla 3.6.2
« Ответ #81 : 09.09.2016, 15:10:42 »
Делал ? Если нет зайди в свою базу и вверху нажми SQL и вставить этот запрос и нажми ОК.

DELETE FROM `cdnlp_assets` WHERE `name` LIKE '%com_content.article.%' AND `id`!=1
да, это вчера делал

А кто сказал что прогрессивное кеширование создает меньшую нагрузку на хостинг, чем стандартное.
Проверьте сколько запросов от Яндекс и Google ботов в пики нагрузки.
сейчас посмотрю
*

ChaosHead

  • Гуру
  • 5242
  • 451 / 13
Re: Медленный SQL запрос на Joomla 3.6.2
« Ответ #82 : 09.09.2016, 15:42:39 »
используется прогрессивное кеширование

Советую перейти на стандартное, вот почему: http://joomlaforum.ru/index.php/topic,305344.new.html

Цитировать
PHP   5.3
Обновите до PHP 5.6 и включите opcache, станет ещё в половину быстрее работать
« Последнее редактирование: 09.09.2016, 15:47:35 от ChaosHead »
*

malexv

  • Захожу иногда
  • 55
  • 0 / 0
Re: Медленный SQL запрос на Joomla 3.6.2
« Ответ #83 : 09.09.2016, 15:59:28 »
проблему нагрузки кажется решил, пока тестирую, в общем в моем случае проблема была из-за редактора JCE, а именно из-за плагина JCE MediaBox for Joomla! 3

в логах было очень много запросов:
Код
[09/Sep/2016:15:38:17 +0300] "GET /plugins/system/jcemediabox/themes/standard/404 HTTP/1.0" 302 208 "http://-------------/" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:48.0) Gecko/20100101 Firefox/48.0"

причем они все неудачные (404) так как он должен вызывать файл popup.html или tooltip.html, но у меня в .htaccess стоит редирект .html, а значит они не загружались, причем этот плагин отвечает, как я понимаю, за модальные окна, они у меня не используются, но если они не используются плагин все равно загружается, это я узнал на оф. сайте, в общем удалил этот плагин, нагрузка упала, причем существенно:



нагрузку еще тестирую, но кажется проблема была в этом

спасибо
*

HumanVW

  • Захожу иногда
  • 64
  • 1 / 0
Re: Медленный SQL запрос на Joomla 3.6.2
« Ответ #84 : 09.09.2016, 16:18:07 »
Советую перейти на стандартное, вот почему: http://joomlaforum.ru/index.php/topic,305344.new.html
Обновите до PHP 5.6 и включите opcache, станет ещё в половину быстрее работать

Я пробовал на 5,6 и включал opcache. работает в разу медленней чем PHP 5.3 + Xcache. Дело в том что Joomla не поддерживает opcache!
*

Филипп Сорокин

  • Завсегдатай
  • 1918
  • 160 / 4
  • разработчик.москва
Re: Медленный SQL запрос на Joomla 3.6.2
« Ответ #85 : 09.09.2016, 16:21:01 »
Цитировать
Обновите до PHP 5.6
А почему не до семёрки сразу? Да и остальное нужно поменять:

Apache   2.2.15-39 -> здесь всё зависит от модуля, который используется для PHP. Если это mod_php, то фу-фу-фу!
MySQL   5.1.73-3.el6_5 -> обновить до MariaDB последней версии
PHP   5.3.29-2.el6 -> обновить до php7
*

HumanVW

  • Захожу иногда
  • 64
  • 1 / 0
Re: Медленный SQL запрос на Joomla 3.6.2
« Ответ #86 : 09.09.2016, 16:24:59 »
Я пробовал ставить PHP7, там нет прикомпилятора и разница с php5.3 не особо, а если использовать Xcache там быстрее 7 будет.
*

ChaosHead

  • Гуру
  • 5242
  • 451 / 13
Re: Медленный SQL запрос на Joomla 3.6.2
« Ответ #87 : 09.09.2016, 16:55:51 »
Спорить не буду, т.к. не знаю, что там включили или не включили, но есть независимые тесты. В своё время я сменил Xcache на opcache и php 5.3 на php 5.6 и проводил свои тесты. Утверждать, что php7 или 5.6 медленнее, чем 5.3 - это сомнительная идея, я не поддержу, php7 - это самолёт просто.

Цитировать
Дело в том что Joomla не поддерживает opcache!
Joomla хранила свой кэш в оперативке с помощью Xcache, в остальном поддержка не нужна, это работает на уровне php. opcache быстрее, чем Xcache, а для хранения кэша в оперативке сейчас есть memcached. Но к примеру у меня ssd диски и прироста скорости в этом я не увидел.
« Последнее редактирование: 09.09.2016, 17:02:37 от ChaosHead »
*

vitzer

  • Захожу иногда
  • 303
  • 5 / 0
Re: Медленный SQL запрос на Joomla 3.6.2
« Ответ #88 : 10.09.2016, 01:43:58 »
Спорить не буду, т.к. не знаю, что там включили или не включили, но есть независимые тесты. В своё время я сменил Xcache на opcache и php 5.3 на php 5.6 и проводил свои тесты. Утверждать, что php7 или 5.6 медленнее, чем 5.3 - это сомнительная идея, я не поддержу, php7 - это самолёт просто.
Joomla хранила свой кэш в оперативке с помощью Xcache, в остальном поддержка не нужна, это работает на уровне php. opcache быстрее, чем Xcache, а для хранения кэша в оперативке сейчас есть memcached. Но к примеру у меня ssd диски и прироста скорости в этом я не увидел.
Спасибо за выкладки. Проверил на php7 c opcache - и правда, самолет. Правда сейчас ночь, проверю результаты завтра, когда посетителей будет в разы больше.
*

Филипп Сорокин

  • Завсегдатай
  • 1918
  • 160 / 4
  • разработчик.москва
Re: Медленный SQL запрос на Joomla 3.6.2
« Ответ #89 : 10.09.2016, 02:02:36 »
В php7 сама логика скриптов выполняется быстрее за счёт рефакторинга внутренних структур и введения абстрактного синтаксического дерева. Эффективность потребления памяти выросла до 50%. Об этом написано куча статей. Это просто нонсенс, что некоторые до сих пор сидят на дырявом небезопасном и медленном 5.3.
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться
 

Joomla 3 не пускает в админку (просто перезагружается страница) (гуглил, нашёл решение, не помогло)

Автор lifelover2b

Ответов: 11
Просмотров: 4894
Последний ответ 05.06.2025, 04:48:29
от andrey222
По поводу сессий Joomla 3

Автор azm1n

Ответов: 0
Просмотров: 1282
Последний ответ 25.05.2025, 09:26:17
от azm1n
Стоит ли ставить плагин rel="canonical" на Joomla 3

Автор azm1n

Ответов: 2
Просмотров: 1649
Последний ответ 09.05.2025, 12:39:18
от azm1n
Вывести поля профиля Joomla

Автор romagromov

Ответов: 11
Просмотров: 2851
Последний ответ 28.04.2025, 10:25:44
от sivers
Максимальная версия PHP для Joomla 3

Автор Dram

Ответов: 8
Просмотров: 3267
Последний ответ 27.03.2025, 10:40:29
от wishlight