Новости Joomla

Человек на GitHub ускорил Joomla в 600 раз на объёме 150к+ материалов в 1700+ категориях

Человек на GitHub ускорил Joomla в 600 раз на объёме 150к+ материалов в 1700+ категориях

👩‍💻 Человек на GitHub ускорил Joomla в 600 раз на объёме 150к+ материалов в 1700+ категориях. На старте его сайт на Joomla 3 вообще не смог обновиться на Joomla 5. Пришлось делать экспорт/импорт материалов. Проделав всё это он запустил-таки этот объём данных на Joomla 5. Тестовый скрипт грузил 200 материалов из этого объёма всего за 94 секунды ))) А главная страница с категориями грузилась 20 секунд. Добавив индекс для таблицы #__content

CREATE INDEX idx_catid_state ON #__content (catid, state);
он сократил время загрузки категорий до 1 секунды. Затем наш герой решил поковырять SQL-запрос в ArticleModel, который отвечает за выборку материалов. И решил заменить тип JOIN на STRAIGHT_JOIN для категорий.
// ->from($db->quoteName('#__content', 'a'))->from(    $db->quoteName('#__content', 'a')    . ' STRAIGHT_JOIN ' . $db->quoteName('#__categories', 'c')    . ' ON ' . $db->quoteName('c.id') . ' = ' . $db->quoteName('a.catid'))// ->join('LEFT', $db->quoteName('#__categories', 'c'), $db->quoteName('c.id') . ' = ' . $db->quoteName('a.catid'))
Что сократило загрузку 200 материалов из 150к с 94 секунд до 5. К слову сказать, боевой сайт на Joomla 3 крутится на 12CPU 64GB рамы. А все манипуляции с кодом он делает на базовом 1CPU 1GB сервере и замеры скорости даны именно для базового сервера. Но это всё в дискуссии, хотя в идеале должно вылиться в Pull Requests. Мы - Open Source сообщество, где никто никому ничего не должен. Джунгли. Но человек ищет пути оптимизации Joomla и предлагает решения. Если оказать поддержку и предложить помощь хотя бы с тестированием самых разнообразных сценариев, то возможно эти улучшения смогут войти в ядро. Пусть не быстро, пусть через несколько лет, пусть не все, но войдут. Достаточно предложить руку помощи и приложить немного усилий.
Дискуссию на GitHub можно почитать здесь.@joomlafeed#joomla #community #php

0 Пользователей и 1 Гость просматривают эту тему.
  • 308 Ответов
  • 95821 Просмотров
*

dreamwind

  • Moderator
  • 166
  • 27 / 13
Re: Web Optimizer плагин для Joomla! 1.5
« Ответ #180 : 13.01.2010, 19:51:51 »
Собственно, вопрос решен: проблема была в magic_quotes_gpc - слешбеки добавлялись, т.к. они были включены.

Куда именно они добавляются? (то, что проблема в именно этом, было, в принципе, очевидно, но не все же такие продвинутые пользователи :)
*

Dusted

  • Захожу иногда
  • 180
  • 49 / 0
Re: Web Optimizer плагин для Joomla! 1.5
« Ответ #181 : 13.01.2010, 19:59:36 »
Куда именно они добавляются? (то, что проблема в именно этом, было, в принципе, очевидно, но не все же такие продвинутые пользователи :)

Слешбеки добавлялись после и перед кавычками переменных.

Пример: (кусок файла config.webo.php, строки 70-80)

Код
## Minify options, JS
$compress_options['minify']['javascript'] = "\\\1\\\";
## Minify JS inside <body> tag. Please be carefull
$compress_options['minify']['javascript_body'] = "\\\0\\\";
## Minify JS with JSMin from Douglas Crockford
$compress_options['minify']['with_jsmin'] = "\\\1\\\";
## Minify JS with Dean Edwards Packer
$compress_options['minify']['with_packer'] = "\\\0\\\";
## Minify JS with YUI Compressor (requires java installed)
$compress_options['minify']['with_yui'] = "\\\0\\\";

Все эти знаки \\\ добавлялись из-за magic_quotes_gpc.
Куплю ваши сайты, рассмотрю все варианты - пишите в личку.
*

nelix

  • Захожу иногда
  • 206
  • 24 / 0
Re: Web Optimizer плагин для Joomla! 1.5
« Ответ #182 : 13.01.2010, 21:10:09 »
dreamwind
Я то все правильно сделал? Ошибки 500 нет.
*

dreamwind

  • Moderator
  • 166
  • 27 / 13
Re: Web Optimizer плагин для Joomla! 1.5
« Ответ #183 : 13.01.2010, 21:11:25 »
Я то все правильно сделал? Ошибки 500 нет.

хорошо, можно радоваться :) Значит, видимо, проблема в определении расширений. А какой вывод у первого фрагмента PHP кода?
*

Sergey2

  • Давно я тут
  • 651
  • 15 / 1
Re: Web Optimizer плагин для Joomla! 1.5
« Ответ #184 : 14.01.2010, 01:04:54 »
D настройках стоит "Объединять CSS, подключенный в тэгах <head> и <body>",
Объединять встроенный CSS-код ДА
Объединять внешние CSS-файлы НЕТ

В итоге из
Код
<link rel="stylesheet" href="/components/com_comprofiler/plugin/templates/default/template.css" type="text/css" />
  <link rel="stylesheet" href="/plugins/content/kunenadiscuss/discuss.css" type="text/css" />
  <link rel="stylesheet" href="/components/com_comment/joscomment/templates/modern/css/standard.css" type="text/css" />
  <link rel="stylesheet" href="/templates/yoo_daylight_1.5/css/template.css.php" type="text/css" />
  <link type="text/css" rel="stylesheet" href="/plugins/content/kunenadiscuss/discuss_ie7.css" />

получаем вот это:

Код
<link type="text/css" href="http://aleksin24.ru/cache/wo/d02e3fe03f.css?1263334507" rel="stylesheet"/>
<link rel="stylesheet" href="/templates/yoo_daylight_1.5/css/template.css.php" type="text/css"/>
почему он все же объединяет внешние файлы? Впринципе, хорошо, конечно, так как в php идет обработка броузера и подсовывание ему нужного CSS, но как то нелогично... Если поставить "объединять внешние файлы", то и PHP туда же запихнет.
*

fedya

  • Захожу иногда
  • 463
  • 50 / 1
Re: Web Optimizer плагин для Joomla! 1.5
« Ответ #185 : 16.01.2010, 15:43:13 »
dreamwind: стабилен ли на сегодняшний момент WEBO Site SpeedUp v0.9.5 for Joomla! 1.5x или всё ещё в стадии бета тестирования?
и если бета когда ждать финального релиза?
Вместо того, чтобы доказывать истинность своих положений и опровергать аргументацию оппонента, демагог может обращаться к приёму ad hominem — критиковать не аргументы, а личность оппонента, пытаясь убедить зрителей, что оппонент — плохой, недостойный, не разбирающийся в вопросе, пристрастный или лицемерный человек.
*

Sergey2

  • Давно я тут
  • 651
  • 15 / 1
Re: Web Optimizer плагин для Joomla! 1.5
« Ответ #186 : 16.01.2010, 22:16:53 »
Обновился до 0.9.6b. Включил и ушел. Прихожу, открыта страница настройки. В титле - 0.9.5б. Еще раз зашел в настройки - 0.9.6б. И несмотря на то что пишет что последняя, все равно предлагает обновить до 0.9.6б

PS Глюк с персональными настрйоками (или верне с кнопкой СОХРАНИТЬ) остался.
*

Sergey2

  • Давно я тут
  • 651
  • 15 / 1
Re: Web Optimizer плагин для Joomla! 1.5
« Ответ #187 : 16.01.2010, 22:31:56 »
А че делает кнопка "обновить кеш"?
у меня сайт весь весит порядка 30 мегабайт. Т.е. там и картинки, и шаблоны и прочее. А кэш получился 60 метров. нажал эту кнопку - 56 килобайт. Я так понял что там кэш от всех старых версий WO что ли остался? Может как-нить самостоятельно что бы чистилось сделать?
*

Sergey2

  • Давно я тут
  • 651
  • 15 / 1
Re: Web Optimizer плагин для Joomla! 1.5
« Ответ #188 : 17.01.2010, 01:53:43 »
Вопрос по объединению джаваскрипта.
На сайте фон задается через скрипты, которые генерируются через php. Есть еще всякая шушера, типа счетчиков и прочей мелочи. Выглядит примерно вот так:
Цитировать
<script type="text/javascript" src="/templates/my_tmp/init.js.php"></script>
<script type="text/javascript" src="/templates/my_tmp/set.js.php"></script>
<script type="text/javascript" src="/cache/wo/6da1f34a4a.js?1263681914"></script>
Все работает как надо. В init устанавливаються некоторые параметры (в том числе пустой фон), а в set они переназначаються на нужные (в том числе фон). Соответсвенно если их поменять местами в плане вызова, то фон пустой. Если эти три скрипта объединить - то фон пустой. Если объединить, вызов поставить перед /head (т.е. последним), а init исключить (т.е. сначала инит, потом общий) то все работает. Если объединить, init исключить и вызов объединенного скрипта поставить вначале (перед init) то фон пропадает.

Собственно стоит ли писать багрепорт или wo тупо сливает скрипты "по порядку" и он тут не причем?
*

Sergey2

  • Давно я тут
  • 651
  • 15 / 1
Re: Web Optimizer плагин для Joomla! 1.5
« Ответ #189 : 17.01.2010, 02:32:45 »
А че делает кнопка "обновить кеш"?
у меня сайт весь весит порядка 30 мегабайт. Т.е. там и картинки, и шаблоны и прочее. А кэш получился 60 метров. нажал эту кнопку - 56 килобайт. Я так понял что там кэш от всех старых версий WO что ли остался? Может как-нить самостоятельно что бы чистилось сделать?
создаются одинаковые файлы раз за разом. Правда я ща крутил активно его включая и выключая функции, может из-за этого он файлы кэша перестраивает.... А нафига старые оставляет?
*

Funkdoobiest

  • Захожу иногда
  • 244
  • 25 / 13
Re: Web Optimizer плагин для Joomla! 1.5
« Ответ #190 : 21.01.2010, 16:28:04 »
Компонент отличный. Именно теперь уже компонент :)

1. В платной версии (399 руб.) возможно удаление ссылки на WO?
2. При включении "Применить gzip для HTML" пропадают все картинки из контента (все кроме картинок из css)
*

Sergey2

  • Давно я тут
  • 651
  • 15 / 1
Re: Web Optimizer плагин для Joomla! 1.5
« Ответ #191 : 23.01.2010, 22:21:34 »
Обнаружил что можно в меню на сатйе добавить ссылку на компонент WO. Че она делает? У меня не работает, что то, пишет 404 нот фоунд :(
*

Yatim

  • Осваиваюсь на форуме
  • 47
  • 0 / 0
Re: Web Optimizer плагин для Joomla! 1.5
« Ответ #192 : 24.01.2010, 10:17:34 »
А может кто нить выложит сам компонент, или ссылочку если не трудно.
*

rubasket

  • Захожу иногда
  • 346
  • 13 / 1
  • RuBasket.com
Re: Web Optimizer плагин для Joomla! 1.5
« Ответ #193 : 24.01.2010, 10:29:13 »
помню поставил - сайт  стал генерировать страницу за 30 сек....больше пробовать не стал....
лучше css/js compress + стандартный кэш + руки и гоолова
Только я знаю,что могу (C) Джон Локк 
Why him ?Mmm? What  about me? БЕНЖАМИН Л
*

Sergey2

  • Давно я тут
  • 651
  • 15 / 1
Re: Web Optimizer плагин для Joomla! 1.5
« Ответ #194 : 24.01.2010, 13:33:46 »
помню поставил - сайт  стал генерировать страницу за 30 сек....больше пробовать не стал....
лучше css/js compress + стандартный кэш + руки и гоолова
возможно просто первый раз он кеш генерил.
*

rubasket

  • Захожу иногда
  • 346
  • 13 / 1
  • RuBasket.com
Re: Web Optimizer плагин для Joomla! 1.5
« Ответ #195 : 24.01.2010, 13:57:10 »
да ну ,пол дня игрался с настройками - безрез-о... Тем более у меня на каждой странице свои CSS и js встречаются и что,он каждый раз будет по 30 с генерировать? а если я кэш чищу после доб-я каждого материала ......
Только я знаю,что могу (C) Джон Локк 
Why him ?Mmm? What  about me? БЕНЖАМИН Л
*

Sergey2

  • Давно я тут
  • 651
  • 15 / 1
Re: Web Optimizer плагин для Joomla! 1.5
« Ответ #196 : 24.01.2010, 15:21:01 »
да ну ,пол дня игрался с настройками - безрез-о... Тем более у меня на каждой странице свои CSS и js встречаются и что,он каждый раз будет по 30 с генерировать? а если я кэш чищу после доб-я каждого материала ......
у него свой кеш. И добавление и изменение материала он воспринимает на удивление нормально. Единственный косяк с этим кешем в том что он растет как на дрожжах - незнаю откуда он его берет, но у меня он за неделю достигает 40 метров и растет дальше, при том что весь сайт (база данных, шаблоны, компоненты, стили и скрипты) месит меньше 30 метров. Разработчики не видят в этом проблему. Я, как представитель обладателей нерезиновых хостингов, иного мнения. Приходиться раз в два/три дня обновлять кеш.
*

rubasket

  • Захожу иногда
  • 346
  • 13 / 1
  • RuBasket.com
Re: Web Optimizer плагин для Joomla! 1.5
« Ответ #197 : 24.01.2010, 16:08:49 »
фу,я лучше буду использовать дальше свой css/js compress, который грузит систему в 3 раза меньше,ничего лишнего,при этом делает ровно столько же,а то и больше!
Только я знаю,что могу (C) Джон Локк 
Why him ?Mmm? What  about me? БЕНЖАМИН Л
*

Sergey2

  • Давно я тут
  • 651
  • 15 / 1
Re: Web Optimizer плагин для Joomla! 1.5
« Ответ #198 : 24.01.2010, 16:13:05 »
фу,я лучше буду использовать дальше свой css/js compress, который грузит систему в 3 раза меньше,ничего лишнего,при этом делает ровно столько же,а то и больше!
ну может не все так страшно и у меня какая-то особенная ситуация. Остальной народ молчит же :)
А твой css/js как работает? У меня стили и скрипты формируются из php в зависимости от броузера, который грузит страницу. WO же формирует стили и скрипты сам и сам же пытается их модифицировать под разные броузеры. Получается убого. У css/js как дела обстоят?
*

vdr

  • Захожу иногда
  • 196
  • 17 / 0
  • Всё есть в тебе. Реализовывайся.
Re: Web Optimizer плагин для Joomla! 1.5
« Ответ #199 : 26.01.2010, 15:44:21 »
WO сжимает лучше чем CssJsCompress.
У меня например CssJsCompress мою тему вообще коряво сжимает.
У WO с настройками побогаче, только они как то странно работают.

Установил сегодня WO 0.9.7, настраиваю, нажимаю - применить, сохранить. Смотрю, грузится все по старому. Захожу в настройки, там все старые, ничего не изменилось. Так я мучался раз 10, даже если в настройках изменится, то в реале - все также. По старому. Я к примеру все пытался, чтоб CSS не объеденялись (к самой функции притензий нет, работает хорошо), так в итоге не получилось...

« Последнее редактирование: 26.01.2010, 18:55:21 от vdr »
Всё есть в тебе. Реализовывайся.
*

rubasket

  • Захожу иногда
  • 346
  • 13 / 1
  • RuBasket.com
Re: Web Optimizer плагин для Joomla! 1.5
« Ответ #200 : 26.01.2010, 15:52:14 »
Применить нажали?
пс CSS js compress на моём сайте упаковывает 9 js (500 кб ) в 1  90 кб  gzip
Только я знаю,что могу (C) Джон Локк 
Why him ?Mmm? What  about me? БЕНЖАМИН Л
*

dimsa

  • Захожу иногда
  • 135
  • 32 / 0
Re: Web Optimizer плагин для Joomla! 1.5
« Ответ #201 : 26.01.2010, 18:03:12 »
Поставил попробовать сегодня на тестовый... установился компонент+плагин для некоммерческого использования, но  не может показать ни настроек, ни состояние кеша. Просто висит значок загрузки и все!

Что же ему нужно?
Верьте в будущее и оно наступит.
*

vdr

  • Захожу иногда
  • 196
  • 17 / 0
  • Всё есть в тебе. Реализовывайся.
Re: Web Optimizer плагин для Joomla! 1.5
« Ответ #202 : 26.01.2010, 18:58:14 »
Ждем комментариев автора...
Всё есть в тебе. Реализовывайся.
*

Sergey2

  • Давно я тут
  • 651
  • 15 / 1
Re: Web Optimizer плагин для Joomla! 1.5
« Ответ #203 : 26.01.2010, 18:59:16 »
Поставил попробовать сегодня на тестовый... установился компонент+плагин для некоммерческого использования, но  не может показать ни настроек, ни состояние кеша. Просто висит значок загрузки и все!

Что же ему нужно?
Да, это известная проблема: в IE ограничение на число потоков, это в Release Notes к бете написано. (с)
*

dimsa

  • Захожу иногда
  • 135
  • 32 / 0
Re: Web Optimizer плагин для Joomla! 1.5
« Ответ #204 : 26.01.2010, 23:37:04 »
Да, это известная проблема: в IE ограничение на число потоков, это в Release Notes к бете написано. (с)


хм.... это не есть гуд... а упущение разработчиков. Я даже оценить не могу компонент...однозначно на данном этапе в топку. К тому же я не пользуюсь IE, а пользуюсь лисом!
Верьте в будущее и оно наступит.
*

Sergey2

  • Давно я тут
  • 651
  • 15 / 1
Re: Web Optimizer плагин для Joomla! 1.5
« Ответ #205 : 27.01.2010, 02:46:11 »
хм.... это не есть гуд... а упущение разработчиков. Я даже оценить не могу компонент...однозначно на данном этапе в топку. К тому же я не пользуюсь IE, а пользуюсь лисом!
последняя версия компонента? в файрфоксе все нормально. какая версия файрфокса?
*

dimsa

  • Захожу иногда
  • 135
  • 32 / 0
Re: Web Optimizer плагин для Joomla! 1.5
« Ответ #206 : 27.01.2010, 09:29:08 »
последняя версия компонента? в файрфоксе все нормально. какая версия файрфокса?

Версия компонента последняя 0.9.7
версия лиса 3.5.7
Верьте в будущее и оно наступит.
*

fedya

  • Захожу иногда
  • 463
  • 50 / 1
Re: Web Optimizer плагин для Joomla! 1.5
« Ответ #207 : 27.01.2010, 12:35:02 »
до сих пор сижу на плагине 0.6.5 один раз настроил, всё работает без глюков....yslow выдает 85...
вчера пробовал WEBO Site SpeedUp v0.9.7 for Joomla! 1.5x больше 75 получить не смог,
при сжатии CSS полностью слетает шаблон, так ничего с этим сделать и не смог...
путанный интерфейс...не впечатлил...

ещё конечно покопаюсь, но пока, на мой взгляд, очень сырая штуковина
Вместо того, чтобы доказывать истинность своих положений и опровергать аргументацию оппонента, демагог может обращаться к приёму ad hominem — критиковать не аргументы, а личность оппонента, пытаясь убедить зрителей, что оппонент — плохой, недостойный, не разбирающийся в вопросе, пристрастный или лицемерный человек.
*

Santana

  • Осваиваюсь на форуме
  • 20
  • 1 / 0
Re: Web Optimizer плагин для Joomla! 1.5
« Ответ #208 : 27.01.2010, 21:08:53 »
Поставил попробовать сегодня на тестовый... установился компонент+плагин для некоммерческого использования, но  не может показать ни настроек, ни состояние кеша. Просто висит значок загрузки и все!

Что же ему нужно?

Аналогисно, причем в разных браузерах
*

dreamwind

  • Moderator
  • 166
  • 27 / 13
Re: Web Optimizer плагин для Joomla! 1.5
« Ответ #209 : 03.02.2010, 15:17:07 »
Разработчики не видят в этом проблему.

Сергей, мы видим в этом проблему. Но она менее критичная, чем, например, некорректная работа System - Cache с включенной минимизацией HTML (эта проблема, кстати, исправлена в последних сборках)

Что же ему нужно?

Большинство проблем с неработающим интерфейсом исправлены. В некоторых (=единичных) случаях они еще возникают. Отследить пока не можем. Если есть какая-либо дополнительная информация (ошибки из JS-консоли, ошибки из логов) -- напишите, пожалуйста. Может быть, с правами доступа к файлам или вычислением дефолтных директорий что-то не так.

до сих пор сижу на плагине 0.6.5

Это хорошо, что разным людям нравятся разные наши продукты :)

P.S. Контрольная Панель под IE исправлена. Грузится, правда, теперь не настолько быстро, зато грузится.

P.P.S. Пользовательская документация существенно обновлена.
http://code.google.com/p/web-optimizator/wiki/UsingWEBOSiteSpeedUp
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться