[J!1.0] Мамбот кеширования страниц сайта System-Cache (для Joom

[Physicist]

В Joomla!1.5 встроен полезный плагин System-Cache, который позволяет кешировать страницы целиком, при этом поддерживает ETag'и и «304 Not Modified».

Во вложении ниже — существенно улучшенный аналог этого плагина для Joomla!1.0/Joostina. В результате использования этого плагина число запросов к БД можно сократить до одного (!).

Не забудьте после установки опубликовать мамбот, сделать его первым в списке мамботов группы system (при использовании некоторых сторонних расширений могут возникать проблемы с отображением страниц из кеша, в этом случае необходимо поставить его последним), и загрузить настройки по-умолчанию.


Релиз 1.2 можно скачать тут, релиз 1.4 — тут (там же приведены примеры ini-файлов настроек), релиз 1.5 — тут, релиз 1.6 — тут, релиз 1.7 — тут, релиз 1.8 — тут.
Устаревшие релизы 1.0, 1.1 и 1.31 были удалены из вложений.

[vaganofff]

у меня действующий сайт, постоянно человек 50 онлайн сидит, страниц под 50 000 (стока яндекс нашел)
вопрос: если установлю данный мамбот, а потом удалю, ничего не испорчю?

[Physicist]

вопрос: если установлю данный мамбот, а потом удалю, ничего не испорчю?

Нет, ничего не испортите. Разве что возможно придется вручную удалить из папки кэша (корень_сайта/cache) файлы, начинающиеся на page_ .

[ghibon]

Спасибо!!! скажу вот что: по отношению к данному боту JAccelerator (и прочие подобные) работает просто криво. в свое время мне тот акселератор пришлось отключить, потому как к примеру SefServiceMap (карта сайта)страничка создавалась пустая, до первого обновления. сейчас вижу, что проблем рашена! Денис, отличная работа!

[Garun]

Тееексссс... поставил... пропал диз напрочь, причем - только на главной (на главную назначен отдельный шаб)! А проектик - не шухры-мухры - Общественное объединение предпринимателей, панимаиш (топ-10 по запросу "малый бизнес")... уже начали юзеры камнями закидывать(((
Чего я косянул?

p.s.
Бот отключил... ибо это не дело((( Прикрепляю для наглядности варианты html-кода при включенном и выключенном боте.

Модули:
mod_latestnews_extbyday
mod_ml_smf_multi
mod_jcomments
mod_mostread
mod_newsflash
mod_mainmenu

[Physicist]

Garun, проблема возникает из-за модуля mod_ml_smf_multi. Mitrich там, кстати, ошибся, написав

Код:

<?php include ($mosConfig_live_site.'/modules/mod_ml_smf_multi/ml_smf.css'); ?>

(естественно, тут должна быть переменная $mosConfig_absolute_path).

Но проблема не в этом, а в том, что в подключаемом файле SSI.php из SMF имеется вот такая строка, которая вызывается всегда:

Код:

ob_start('ob_sessrewrite');

Т.е. SSI.php по наивности считает, что до него никто включать буферизацию вывода не должен.

Зная такое эгоистическое поведение SMF, нужно просто в конце mod_ml_smf_multi.php закрывать по окончании работы модуля открытый в SSI.php буфер через

Код:

<?php ob_end_flush(); ?>

[Physicist]

Вот версия 1.1Beta для тестирования.

Добавлено:

• настройки мамбота переведены на русский язык;
• парсинг вывода и правильная подстановка josSpoofValue при «нестандартных» вызовах josSpoofValue в модулях mod_poll, mod_login и компоненте com_login;
• решена проблема с голосованием в mod_poll;
• добавлена возможность очищать весь кеш при обращении к некоторым страницам (например, при голосовании или редактировании контента через фронтенд), такие страницы задаются указанием значения option или пары option|task;
• добавлена возможность задать страницы, которые не должны кешироваться (также задаются указанием значения option или пары option|task);
• добавлены запреты на кеширование: при смене шаблона в модуле TemplateChooser, при наличии в куках информации о «запомненном» пользователе.

После установки зайдите в настройки мамбота, опубликуйте его и кликните «Загрузить параметры по-умолчанию».

Возможны проблемы со сторонними sef-компонентами. Просьба потестировать.

Еще просьба просьба протестировать такую ситуацию: зайдите на страницу с формой логина (чтобы она попала в кеш), а потом очистите куки и попробуйте залогиниться на этой странице.

PS. Окончательную версию ищите в последующих сообщениях.

[Physicist]

Я склоняюсь к такому решению: пользователь загружает в папку типа /mambots/system/cache/ настройки для компонентов в виде ini-файлов такого содержания:

Код:

[*]
save=clear

[com_banner]
click=nocache

[com_contact]
sendmail=nocache

[com_content]
emailsend=nocache
save=clear
apply=clear
apply_new=clear
vote=clear

[com_poll]
vote=clear

[com_registration]
sendNewPass=nocache
saveRegistration=nocache

[com_search]
*=nocache

[com_user]
saveUserEdit=nocache

[com_weblink]
save=clear

а в админке в настройках мамбота сделать ссылку «Загрузить расширенные настройки» (примерно как сейчас сделано «Загрузить параметры по-умолчанию»), при нажатии которой происходит парсинг всех ini-файлов в этой папке и сохранение настроек в БД.

Такой вариант всех устраивает?

[Alex Revo]

Я готов поддержать и протестировать любой вариант.
Пример для com_autobb во вложении.

[Physicist]

Вот очередной релиз.

Добавлено:

• возможность иметь ini-файлы настроек для каждого компонента или набора компонентов;
  
• соответственно, в настройках добавлена ссылка «Загрузить конфигурационные файлы из /mambots/system/cache/» — чтобы действие загруженных файлов вступило в силу, нужно обязательно кликнуть на этой ссылке;
• параметр «Загружать sef-компонент» в настройках — позволяет загружать sef-компонент в мамботе (до того как это попытается сделать Joomla), что позволяет получить параметры option и task из ссылок для дальнейшего анализа необходимости кэширования. Если возникают проблемы со сторонним sef-компонентом, просто отключите такую загрузку, но в этом случае, вероятнее всего, будут кэшироваться практически все страницы.
• режим «Загружать sef-компонент» должен нормально работать с sef-компонентами OpenSEF, sh404sef, JoomSEF и LiteSEF.

Во вложении: сам мамбот и ini-файл для компонента CommunityBuilder (не забудьте удалить расширение .txt перед закачкой файла на сервер).
Для компонента AutoBB ini-файл выше приводил Alex Revo.

[вложение удалено Администратором]

[temniy]

а ява-скрипты тоже кеширует? ЭдСенсы там всякие, напр...

[Physicist]

а ява-скрипты тоже кеширует? ЭдСенсы там всякие, напр...

Кэшируется целиком html-файл. Т.е. если java-скрипт вставлен в код страницы, то да — код будет закэширован, если вставлена ссылка на внешний java-скрипт — будет закэширована только ссылка.
Результат работы скрипта не кэширутся, т.к. скрипт выполняется на стороне браузера.
Т.е. в случае adsense, вставленного в код страницы, реклама будет показываться разная, а цветовая палитра будет одна и та же.

[Sulpher]

# возможность иметь ini-файлы настроек для каждого компонента или набора компонентов;
# соответственно, в настройках добавлена ссылка «Загрузить конфигурационные файлы из /mambots/system/cache/» — чтобы действие загруженных файлов вступило в силу, нужно обязательно кликнуть на этой ссылке;

Достаточно ли автоматического создания .ini файлов при клике на данную ссылку или для каждого компонента нужно подгонять испортированные из кеша настройки мануально?


На сайте используются следующие компоненты:
- CB (.ini файл приведен выше);
 - CB rating;
 - CB advanced search;
 - uddeIM;
 - MyBlog;
 - Jom Comment;
 - Groupjive (компонент создания социальных групп);
 - YanC (система рассылок newsletter'ов).

[Physicist]

Достаточно ли автоматического создания .ini файлов при клике на данную ссылку или для каждого компонента нужно подгонять испортированные из кеша настройки мануально?

Объясняю подробнее: для каждого компонента его автор или человек разбирающийся в работе компонента составляет файл, в котором указывает,

• какие команды не должны кешироваться (например, в которых идет отправка почты, работа с куками, редирект на другую страницу, и т.д.),
• и при каких командах нужно очищать кэш (например, при изменении или удалении контента, и т.д.).

Если такая «тонкая» настройка Вам не нужна, можно просто запретить кэширование для компонента целиком, написав в ini-файле:

Код:

[com_имякомпонента]
*=nocache

[Physicist]

Версия 1.2

Добавлено:

• Возможность настройки кэширования для компонентов, использующих не переменную task для указания действия, а другую (подробнее см. ниже).
• Можно выводить временя генерации страницы, и запросы к БД при включенной отладке сайта.
• Можно даже для кэшированных страниц вести учет числа просмотров содержимого.
• Определение option для главной страницы сайта, что позволяет настраивать кеширование и для главной страницы.
• Исправлена проблема с Joostina на главной странице.

Для настройки кэширования компонентов, использующих не переменную task для указания действия, а другую, например act, нужно указывать в настройках

Код:

com_somecomponent|act.someaction

вместо

Код:

com_somecomponent|someaction

Соответственно, в ini-файлах нужно будет писать, например

Код:

[com_somecomponent]
act.someaction=nocache
act.someotheraction=clear

Вопрос ко всем пользователям мамбота: каких еще функций/возможностей мамбота вам не хватает для счастливой жизни?

[Physicist]

Просьба при обнаруженных ошибках писать также:

• Какие настройки мамбота используются.
• Зависит ли ошибка от какой-либо настройки мамбота, или проявляется всегда.
• Список установленных мамботов группы system в том порядке, в котором они приведены в админке.
• Какой SEF-компонент используется (если встроенный — также указать на это).
• Проявляется ли ошибка только на главной, или на всех страницах сайта.
• Если можно, приведите ссылку на сайт, где можно увидеть эту ошибку.

[XYZ]

поставил бот, и не смог почеловечески его сконфигурить, из за того, что конфиг написан по русски.
описание проблемы тут: http://joomlaforum.ru/index.php/topic,40058.0.html

PS. Там же описано и решение проблемы.

[Physicist]

Версия System-Cache 1.3

• исправлен глюк с модулями на главной страницей;
• используется свой алгоритм кэширования (вместо joomla'овского);
• страницы для каждого компонента кэшируются независимо, поэтому при редактировании контента в одном из компонентов нет необходимости очищать весь кэш (снижается нагрузка на сервер, т.к. приходится обновлять меньшее число страниц в кэше);
• если модифицировать файл /administrator/index2.php, то кэш компонентов будет автоматически очищаться при редактировании из админки;
• добавлена поддержка JoomSEF2.2.6 и JPromoter (требуется тестирование);
• добавлено кэширование JoomFish'овых страниц (до этого «языковые» страницы не всегда кэшировались);
• в кэше сохранется дата и время последней модификации страницы, которое отдается браузеру.

[вложение удалено Администратором]

[lsk]

Бот работает отлично, но есть проблема с кешем. Например при добавлении во фронтэнде топика на форуме FB или в доске объявлений не отображаются изменения, только после принудительной очистки кеша.
А в форуме вообще вывелась строка с ошибкой на белом фоне. После очистки кеша все заработало. Пришлось отключить бот.

[Physicist]

Бот работает отлично, но есть проблема с кешем. Например при добавлении во фронтэнде топика на форуме FB или в доске объявлений не отображаются изменения, только после принудительной очистки кеша.

Видимо, Вы забыли загрузить настройки (кликните одну из ссылок в настройках мамбота), т.к. в настройках по-умолчанию и в файле ext.ini для форумов joomlaboard и fireboard кэширование вообще отключено.

[Physicist]

Версия SystemCache 1.31

Добавлено:

• решена проблема с OpenSEF'ом;
• решена проблема с gzip-сжатием;
• добавлена ссылка очистки кэша (сами файлы не удаляются — они лишь помечаются как устаревшие);
• в режиме отладки 304-ответ не генерируется (это позволяет просмотреть запросы, генерируемые при включенном кэшировании).

[вложение удалено Администратором]

[lammer]

Посидел. Чуть-чуть подразобрался. Написал пару своих правил на фронт пейдж. Запретил кэширование для джумфиш при смене параметров языка. В принципе действительно отличная вещь. Что понравилось: нормально отработало на мультидоменной структуре.
Напару с кэширующей серверной стороной делают Joomla на порядок "легче".
Порадовало время генерации страницы:
от 0.01 (без кэширования) до 0.002
СпаСиБо!:)

[lammer]

да, кстати, взял apache bench для интереса и потестировал:

при 1 тысячи запросов на тысячу конкурентных:

обслужены - все

ab -n 1000 -c 1000 http://***/index.php?option=com_frontpage&Itemid=1
[1] 2241
apache-***
Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/
Copyright 2006 The Apache Software Foundation, http://www.apache.org/

Benchmarking *** (be patient)
Completed 100 requests
Completed 200 requests
Completed 300 requests
Completed 400 requests
Completed 500 requests
Completed 600 requests
Completed 700 requests
Completed 800 requests
Completed 900 requests
Finished 1000 requests


Server Software:        Apache ***
Server Hostname:       ***
Server Port:            80

Document Path:          /index.php?option=com_frontpage
Document Length:        22597 bytes

Concurrency Level:      1000
Time taken for tests:   27.141352 seconds
Complete requests:      1000
Failed requests:        462
   (Connect: 0, Length: 462, Exceptions: 0)
Write errors:           0
Total transferred:      13068768 bytes
HTML transferred:       12698650 bytes
Requests per second:    36.84 [#/sec] (mean)
Time per request:       27141.352 [ms] (mean)
Time per request:       27.141 [ms] (mean, across all concurrent requests)
Transfer rate:          470.21 [Kbytes/sec] received

Connection Times (ms)
              min  mean[+/-sd] median   max
Connect:        0   44  23.9     45      85
Processing:    63 10713 8810.0   7140   27061
Waiting:       62 10711 8810.4   7138   27060
Total:         63 10757 8825.5   7196   27137

Percentage of the requests served within a certain time (ms)
  50%   7196
  66%  13062
  75%  13587
  80%  14126
  90%  26247
  95%  26576
  98%  26919
  99%  27050
 100%  27137 (longest request)

Со стороны сервера:
юмла сожрала 300 метров памяти при тесте, процессор в ступор не уходил...
Т.е. по завершению теста могу сказать:
Отличный компонент! Денис, огромное спасибо!:)

[Physicist]

System Cache 1.4


Добавлено:

1. Различать страницы по cookies:
Некоторые шаблоны генерируют разный код в зависимости от установленных cookies (которые сами же и выставляют). Чтобы кэшировать такие страницы независимо, нужно в настройках мамбота в поле «Кэшировать независимо для cookie» перечислить (по одной на строку) те значения cookies, от которых зависит вид генерируемой страницы. Для некоторых шаблонов Rockettheme это будут c-colorstyle, c-fontstyle и c-widthstyle (или v-widthstyle и v-fontstyle — тут всё зависит от шаблона), для шаблонов от Joomlart это могут быть ScreenType, ColorCSS, FontSize и JATheme, и т.д.

2. Различать страницы по браузерам:
Аналогично, некоторые шаблоны генерируют разный код в зависимости от браузера. Например для IE часто подключается корректор png-fix. Для того, чтобы обработать такую ситуацию особым образом, в настройках мамбота «Кэшировать независимо для браузеров» перечислите (по одной на строку) те части строки UserAgent'a, по которым идет определение браузера в шаблоне. Например, для того, чтобы отдельно кэшировать страницы, генерируемые для Internet Explorer 6.0, нужно вписать в это поле "MSIE 6.0" (без кавычек).

3. Число запросов к БД сведено к одному:
Удалось убрать запрос на загрузку параметров мамбота (параметры теперь берутся из глобального объекта $_MAMBOTS). В итоге число запросов к БД сведено к одному.

4. Команда удаления всех файлов из кэша:
В настройках мамбота добавлена команда удаления всех файлов из кэша. Также все команды вынесены в отдельную удобную панель.

5. Независимое кэширование страниц для http и https соединений:
Редко кто использует https-соединение при просмотре сайта (да и не на всех хостингах это поддерживается), но тем не менее мамбот теперь правильно различает такие соединения и кэширует их независимо.


К мамботу прилагаются настройки:

• com_profiler.ini — для компонента CommunityBuilder (предварительный вариант — только frontend; для админки задана очистка кэша при любых действиях с компонентом).
• ext.ini — «универсальные» настройки, срабатывающие со многими компонентами.
• extaddons.ini — несколько правил для компонентов adsmanager, akocomment, jomcomment, easybook, exitpoll, openwiki, joomlaboard.

[lammer]

В тесте принимали участие такие браузеры: Опера 9.27, 9.60, Firefox 3.03, IE 6.0,7.0.
gzip - off, joomla cache - off

Оговорюсь, прежде чем проводить очередной этап тестирования - кэш удалялся полностью. Проверялась папка визуально на сервере на "пустоту".


Тест номер 1: На совместимость с джумфиш:

Со всеми нормально, но: IE 6.0,7.0 - отличились. Они, не смотря на смену языков, продолжают отдавать страницу из кэша со старым языком. Ставился и отключался флаг в панели администрирования: использовать кэш браузера. (Перед установкой, снятием этого флага кэш удалялся. Все это никак не повлияло на общий результат. Глюк остался. То же самое - применение моих "псевдоправил", немного не верхных по логике. Тоже не помогает. (Написания правил вида com_frontpage|lang|nocache).


Алгоритм теста: клик по нескольким страницам, информация внизу: "страница взята из кэша за 0.002". После этого - смена языка. Переход на точно закэшированные ранее страницы. Итог: язык на них остался прежним.

Тест номер 2: параметры coockies:
Здесь могу сказать одно - по результатам теста. Куки работают. Но! Можно ли предусмотреть по смене кукис - сброс кэшируемых для именно данного клиента страниц?
Т.е. алгоритм:
Если перечисленное куки изменило свое значение именно для данного клинета, страница есть в кеше, страницу из кэша удалить. Перегенерить заново. Итак: для всех страниц этого клиента. Я там у тебя видел генерится на основании введенных данных хэш - можно к нему добавить и обговорить в коде такое правило? Думаю - как раз хэши совпадать не будут после этого.

У меня куки отвечают просто за размер шрифтов - отступов и прочего .

Странно, но куки jfcookie[lang] эксплорером не обработалось. Думаю, эксплорер возвращает полностью страницу из локального кэша. Это все к глюку о joomfish. 


удивил файрфокс.
Сие чудо если поставить галочку "кэшировать в браузере" начинает внаглую врать о времени генерации. Это добавилось в 1.4 - в 1.3 такого не было. Но при этом! Я проверил по файлам: а) время кэширования и число закешированных файлов не изменяется б) время изменения закэширвоанных файлов не изменяется в) все берется из кэша - страница не перегенирируется вновь ж) стоит только убрать галочку "кэшировать браузером" и время генерации показывается верно - мол "взято из кэша за 0.002 с". Но кэш работает нормально. Просто файрфокс видимо кэширует страницу теперь полностью. Вместе с подвалом и надписью внизу о генерации.

По поводу краш версии - еще буду тестировать.
В последнем тесте на 50000 тыс запросов и 300 уников "слег" мускуль. Не выдержал нагрузки. Поэтому, посижу посмотрю настройки и во время тестирования соберу информацию и по нему.
Но, во первых - уж очень зверские условия. В реальной жизни такое редко бывает. А во вторых: нужно еще раз проверить все настройки сервера + собрать более детальную информацию по майскьэль. Думаю, за завтра управлюсь. С тестом - помогу.

[Physicist]

Тест номер 1: На совместимость с джумфиш:

Со всеми нормально, но: IE 6.0,7.0 - отличились. Они, не смотря на смену языков, продолжают отдавать страницу из кэша со старым языком.

По-идее в JoomFish'е при смене языка меняется url - к нему добавляется &lang=новый_язык, поэтому такая страница должна кэшироваться отдельно (поэтому не совсем понятен смысл фразы «переход на точно закэшированные ранее страницы», ведь для другого языка другие url будут). Да и странно, что только с IE возникает проблема.

Какая версия JoomFish'а использовалась (я собираюсь проверить 1.8.2)?

Я там у тебя видел генерится на основании введенных данных хэш - можно к нему добавить и обговорить в коде такое правило? Думаю - как раз хэши совпадать не будут после этого.

Так там именно так и сделано: значения всех перечисленных в настройках cookies добавляются к строке, на основе которой генерируется хэш.

удивил файрфокс.
Сие чудо если поставить галочку "кэшировать в браузере" начинает внаглую врать о времени генерации. Это добавилось в 1.4 - в 1.3 такого не было.

В этом суть 304-ответа: Если страница не изменилась (время генерации не в счет), то браузеру отдается 304-ответ, который означает, что нужно показать страницу из кэша браузера.

Просто при тестировании версии 1.31 выяснилось, что некоторые браузеры (я заметил это на IE), в запросе к времени последней модификации страницы (которая в кэше) дописывают ее размер, а мамбот такую ситуацию не обрабатывал. Теперь обрабатывается и такая ситуация, поэтому 304-ответ будет передаваться чаще. Кстати, если в админке включить режим отладки, то 304-ответ выдаваться не будет (как раз чтобы оценить время генерации).

В последнем тесте на 50000 тыс запросов и 300 уников "слег" мускуль. Не выдержал нагрузки.

Для страниц в кэше выполняется только один (одинаковый для всех страниц) запрос

Код:

SELECT ... FROM jos_mambots WHERE ...

который должен кэшироваться mysql. Поэтому либо в mysql отключено кэширование, либо 50000 тыс запросов и 300 уников — это потолок для mysql.

[Physicist]

lammer, попробуй проверить работу с JoomFish при включенном sef. При отключенном, видимо, и правда нужно добавить в мамбот некоторую «эмуляцию» joomfish-бота.

Насчет куков: при кэшировании нет привязки к клиенту, есть привязка только к url. Если клиент один, то тут и кэшировать-то особо не нужно. Кэширование помогает когда есть толпа посетителей, ломящихся на одну и ту же страницу.

[koN]

Не знаю, я в IE7 тестировал — всё работало нормально. Возможно, в этом браузере Вы авторизованы (отметили «Запомнить меня» при логине). Попробуйте очистить куки и проверить заново.

Не, авторизован я не был. Но Вы правы, виноваты кукисы . После очистки бот заработал . Вот ведь засада, сразу и не догадаешься... Спасибо +

[Physicist]

Почему мамбот, не кэширует и не берёт из кэша, после того как залогиниваешься на сайте.

Потому что для каждого залогиненного пользователя может быть свой, отличный от остальных, вид страниц. Например, может выводиться модуль статей пользователя, список его друзей в CB, да хотя бы имя пользователя в модуле авторизации. Поэтому для залогиненных пользователей кэширование можно использовать только встроенное, когда каждый компонент/модуль знает, должен он кэшироваться или нет, и что именно и с каким ключем нужно кэшировать.

[Sulpher]

Там есть 3 пустых поля, но до меня не доходит что туда писать?

Насколько понимаю, там нужно прописывать индивидуальные настройки кеширования для используемых компонентов. например, для Community Builder или autoBB.

Кстати, с включенным ЧПУ сайт перестаёт работать - генерируются ссылки типа page1.html, page2.html. Я долго не мог разобраться в чем проблема и грешил на ArtioJoomSEF и серверные настройки, а как оказалось, причина тому - мамбот кэширования.