Мамбот автоматической очистки кеша в Joomla!

[Physicist]

На многих хостингах ограничено дисковое пространство под сайт, а с увеличением объема контента на сайте папка /cache имеет тенденцию значительно увеличиваться в своем размере. При этом бóльшая часть файлов в кеше уже давно устарела, но она просто не удаляется автоматически. В результате может возникнуть ситуация, когда не удается установить новое расширение или даже внести изменения в БД по причине нехватки свободного дискового пространства. Чтобы избежать такой проблемы, был написан простенький мамбот, который очищает папку /cache от устаревших файлов примерно при каждом 100-м обращении к сайту. На время генерации страницы это никак не влияет, т.к. все действия выполняются после того, как страница отдана пользователю.

Ниже выложены файлы:
botClearCache.zip — для версии Joomla!1.0
plgClearCache.zip — для версии Joomla!1.5

09.02.2009 В версии для 1.5 исправлена проблема, связанная с возможным удалением файлов в корне сайта.

[faker666]

спасибо большое, очень полезная вещь.

[Sulpher]

Респект автору!!! Давно думал об этом. Клиентам не объяснишь, что время от времени нужно чистить кэш. Теперь об этом можно не заботиться. Здорово!

[ghibon]

а очищает любой кеш? только папку cashe? если в компоненте предусмотренно кеширование, там не очищает?

[pedrosoft]

чистить только файлы находящиеся в каталоге cache начинающиеся с названия cache_

[Byld0zer]

я так понял, он подчищает кэш каждые 8 часов?
а как отрегулировать это дело?

ПС: спасибо, мамбот очень пригодился. Папка кэш росла как после растишки.

[Sulpher]

Было бы очень актуально сделать версию мамбота для Joomla! 1.5.x

[Physicist]

Выложил аналогичный плагин для Joomla!1.5 (см. первый пост). Но он удаляет ВЕСЬ кэш через время указанное в глобальных настройках сайта (по-умолчанию это 15 минут), в том числе и кэш модулей (независимо от того, какое время жизни указано в настройках модуля).

Если для кого-то существенно различие во времени жизни обычного кэша и кэша модулей — пишите, что-нибудь придумаем.

[Strange@R]

Респект! а в самой джомле вроде выставляется время жизни кэшей даже индивидуально для модулей (900 секунд) - оно значить работает по какому-то иному принципу?

[userxp]

надо чистить не только папку cache, но и вложенные папки

[Physicist]

Респект! а в самой джомле вроде выставляется время жизни кэшей даже индивидуально для модулей (900 секунд) - оно значить работает по какому-то иному принципу?

В Joomla выставляется в течение какого времени файл с кэшем будет использоваться. Проблема в том, что по истечении указанного времени файл просто перестает использоваться, а не удаляется. Далее этот файл может быть либо перезаписан новой версией (если за это время на сайте особых изменений не произошло), либо навеки так и останется лежать на сервере никому не нужным.

надо чистить не только папку cache, но и вложенные папки

В версии для J!1.5 именно так и работает, а в J!1.0 достаточно чистить только /cache.

[userxp]

В версии для J!1.5 именно так и работает, а в J!1.0 достаточно чистить только /cache.

ну я ж не НЕ ПРОСТО ТАК написал.
повторяю: НАДО

зы. лично я прикручиваю кэш индивидуально по папкам

[Physicist]

повторяю: НАДО
зы. лично я прикручиваю кэш индивидуально по папкам

Сделать-то всё можно. Ты просто объясни, что ты и куда «прикручиваешь», а то мало ли — что-нибудь не то «откручу».

[userxp]

лехко.

require_once( $mosConfig_absolute_path . '/includes/joomla.cache.php' );
$caching = (bool) $caching;
$options = array(

'cacheDir'

=> $mosConfig_cachepath . '/com_news/', <======= DIRECTORY

'caching'

=> $caching,

'defaultGroup'

=> 'com_news',

'lifeTime'

=> $time
);
$cache = new JCache_Lite_Function( $options );

[Sulpher]

Кстати, было бы неплохо заодно чистить папку components/libraries/cmslib/cache (J1.0.x)

Сейчас удаляю старый полигон - в этой папке сотни временных файлов.

[Physicist]

userxp, проблема в том, что при ручном создании объектов JCache_Lite_Function можно варьировать не только путь (который вовсе не обязан быть в /cache/), но и время жизни кэша. Откуда мой плагин может знать, какое время жизни выставлено для в каком-то смысле «стороннего» кэша и когда его нужно удалять? По-хорошему, это должно лежать на совести того, кто использует такие «извращения».

Sulpher, это тоже должно быть на совести azrul.com, хотя добавить такой функционал в плагин — не проблема.


PS. Вообще было бы неплохо, если бы у файлов кэша время создания выставлялось равным времени удаления — тогда у каждого файла могло бы быть свое время жизни, а удалять приходилось бы только те файлы, даты создания которых лежат в прошлом.

[Sulpher]

В моём случае папка всё равно пухнет и кол-во файлов переваливает за тысячи. Может причина в правах файлов? Например, сервер генерирует файлы, а у мамбота нет прав на удаление...

[Physicist]

Вряд ли причина в правах на файлы. Напиши мне в личку/аську — попробуем разобраться.

[Physicist]

В связи с тем, что в последних версиях 1.5.x файлы кэша имеют расширение .php, а не .cache, пришлось внести соответствующие изменения в plgClearCache.zip. Обновленная версия — во вложении к первому посту.

[7Rei]

Добрый день. После установки данного плагина, два раза бесследно, исчезали php файлы корня (index, configuration, license...)! После его отключения, все стало нормально.
Пришлось отказаться от использования этого замечательного плагина

[Physicist]

7Rei, о какой версии joomla идет речь?

[7Rei]

7Rei, о какой версии joomla идет речь?

joomla 1.5.7, php5.2.6, включен кешь в глобальных настройках + плагин кеша

[Physicist]

Вообще-то странно, должны файлы удаляться только из /cache/.
Я тут ниже прикрепляю плагин, который очищает кэш через встроенный в J!1.5.7 механизм (но может не работать на предыдущих версиях J!1.5). Кстати, ircmaxel обещает, что такой механизм очистки будет встроен в J!1.6.

[Magic12]

Спасибо огромное. Очень нужный мамбот! 

[Sulpher]

Денис, плагин, прикрепленный несколькими постамы выше, предпочтительнее использовать на J1.5.8 вместо топик стартового plgClearCache.zip?

Небольшая информация к сведению.
При настройке сайта, включил нотисы:

Error: headers already sent in clearcache.php on line 9.
Stopped at line 906 in joomsef.php: HEADERS ALREADY SENT (200)
URL=http://mysite.ru/index.php?option=com_virtuemart&Itemid=2:
OPTION=com_virtuemart:

SEO Joomla 1.0.15
ВМРЕ 1.0.15

[Physicist]

Оказывается, в первом посту прикреплен старый архив (там нужно имя функции в кавычки взять). Мне казалось, что я его заменял (причем, судя по дате локальной версии архива, это было 2 сентября). Сейчас перезалью еще раз.

[Sulpher]

Оказывается, в первом посту прикреплен старый архив (там нужно имя функции в кавычки взять). Мне казалось, что я его заменял (причем, судя по дате локальной версии архива, это было 2 сентября). Сейчас перезалью еще раз.

Думаю, имеет смысл пояснить, что речь идёт о плагине для Joomla 1.0. Всем обновляться.

[Physicist]

В версии для 1.5 исправлена проблема, связанная с возможным удалением файлов в корне сайта.

[nordauto29]

спасибо. будем тестить.

[friend111]

Если я правильно понял настройку мамбота для версии Joomla!1.0 можно  изменить здесь
if(mt_rand(1,100)==1) , допустим вместо 100 поставить 1000 и кеш будет удаляться через 1000 обращений к сайту, правильно или нет?

[dynamit]

Спасибо за мамбот, нужный. Но есть масенький вопросик - файлы рнр удаляет без проблем, но у меня там еще и ".php_expire" их не трогает. вес у них маленький, но все же. Их ручками делитить? Или можо так -
в               
if((strpos($file,'.cache')      ===strlen($file)-6) ||               
(strpos($file,'.php')        ===strlen($file)-4))

добавить
if((strpos($file,'.cache')      ===strlen($file)-6) ||               
(strpos($file,'.php')        ===strlen($file)-4) ||                  
(strpos($file,'.php_expire') ===strlen($file)-11))

[monkozzz]

а такой вопрос: у меня на сайте в настройках вообще кеширование выключено. Это плохо или хорошо. расскажите.

[kaizer]

Всем доброго времени суток. Для импорта новостей пробовал разные расширения, в том числе и штатный стоящий в Joomla 1.5, везде один и тот же результат. Перед перечнем новостей выходит вот это сообщение:

Warning: file_put_contents(/usr/home/web/....../.........ru/cache/0f3abc7ae96a25695f10675d60d0d082.spc) [function.file-put-contents]: failed to open stream: Permission denied in /usr/home/web/......./.........ru/libraries/simplepie/simplepie.php  on line 7219
Warning: /usr/home/web/....../.........ru/cache/0f3abc7ae96a25695f10675d60d0d082.spc is not writeable in /usr/home/web/...../..........ru/libraries/simplepie/simplepie.php on line 1623

удаляется только после принудительной очистки кэша совместно с удалением кэша на самом хостинге.
Рарешениия 777 уже наверно везде поставил, пробовал менять время кэширования, всё равно вылазит это сообщение.
Может надо вообще кэширование системы отключить? Может, кто знает как победить эту проблему?
За ранее благодарен.

Задавал этот вопрос в других ветках (про RSS). Никто не отвечает-либо вопрос тупой, либо никто не знает, что делать. Я знаю одно, что кеш не очищается. Может быть этот плагин и есть решение моей проблемы?

[kaizer]

для импорта ленты новостей на страницу использую mod_slick_rss-1-5-0 (время кеширования 3600с), этот компонент поставил т.к хотел уйти от аналогичой проблемы при работе на штатном модуле стоящем в Joomla_1.5.14-Stable-Full_Package-Russian. Заметил, что на хостинге у папки cache разрешение с 777 слетало на ХХХ. Хостер вроде у себя что-то подправил
и теперь всегда 777 стоит. Но эти два файла, стоящие всегда отдельно, не удаляются. Только принудительно. Хостер говорит проблема с движком, т.к у него всё работает нормально, апачи пишет и т.д.... Причём расширения mod_grabber_1.4.5_J1.5 и RSS_Scroller_1_5. таких сообщений не выдаёт, хотя RSS_Scroller выводит ленту новостей созданную в самой joomla.  
 "тип файла" при этом, у двух этих файлов, определяется как "сертификаты RKCS#7"-может здесь собака зарылась?

Этот глюк имеет место только на хостинге, в денвере (локальном сервере) всё работает отлично.

тем не менее поставил на localhost, вроде ни чего не слетело. стоит вопрос - можно ли поставить этот плагин уже на хостинг с Joomla_1.5.14-Stable-Full_Package-Russian?

[Physicist]

spc-файлы создаются библиотекой SimplePie, но создаются они стандартным способом и никаких проблем с правами быть не должно. Даже не знаю, чем тут помочь.

PS. Мамбот автоматической очистки кеша всё-равно удаляет из кэша только файлы с расширением php.

[kaizer]

прописал этим файлам разрешение 777, новости вроде как обновились, но глюк не вылез. посмотрим, что будет дальше.
а ваш плагин на Joomla 1.5.14 есть смысл ставить? конфликта не будет?

[Physicist]

прописал этим файлам разрешение 777, новости вроде как обновились, но глюк не вылез. посмотрим, что будет дальше.
а ваш плагин на Joomla 1.5.14 есть смысл ставить? конфликта не будет?

Задания для файлов прав 777 — это одна из самых частых ошибок. Файлам нужно задавать максимум 666.

[kaizer]

переписал на 666, только если они в кеше и всё равно находятся там для удаления, почему 777 нельзя ставить, каким боком это может вылезти?

поставил плагин на хостинг, вроде всё пока фунциклирует.

в любом случае спасибо за отклик и с меня +

[Physicist]

переписал на 666, только если они в кеше и всё равно находятся там для удаления, почему 777 нельзя ставить, каким боком это может вылезти?

Несколько раз встречал, что при задании файлу прав на исполнение PHP начинает вести себя с ним странным образом, при изменении на 666 всё возвращалось в норму.

PS. Если кто знает, отчего такое может быть — отпишитесь.

[kaizer]

Проблема вроде ушла, но не понятно в следствии чего? то ли от того, что 666 прописал, то ли плагин работает. Но судя по тому, что в папке "кеша" находились файлы со вчерашнего дня, хотя кеширование задано в 1 час,  то можно сделать вывод, что плагин в joomla1.5.14 скорей всего не работает. Также граббер новостей обновил инфу во фронтенде только после принудительной очистки кеша. Может этот плагин надо использовать совместно со встроенным плагином -Система-Кеш, хотя он вроде как для браузера.
Плагин Ситема-Кеш-он вообще нужен? Если нужен, то должно ли его время кеширования совпадать  со временем кеширования в самой системе?
Если вопросы тупые, то не обессудьте, я только в начале пути.

[jem777]

Для быстрой очистки кэша пришлось немного подправить функцию, чтобы он при каждом обращении к сайту стирал все указанные файлы в папке кэша:

Код:

<?php
defined( '_JEXEC' ) or die( 'Restricted access' );

jimport( 'joomla.plugin.plugin' );

class plgSystemClearcache extends JPlugin
{
function plgSystemCache(&$subject, $config)
{
parent::__construct($subject, $config);
}
function onAfterInitialise()
{
global $mainframe;
if($mainframe->isAdmin())
return;
if(mt_rand(1,1)==1)
register_shutdown_function('ClearOldCacheOnShutdown');
}
}

function ClearOldCacheOnShutdown()
{
flush();
$cacheDir=JPATH_BASE.DS.'cache'.DS;
if(!($dh=opendir($cacheDir)))
return;
$conf=&JFactory::getConfig();
$refreshTime=time()-$conf->getValue('config.cachetime');
while($group=readdir($dh))
if(is_dir($cacheDir.$group)&&($group!='.')&&($group!='..'))
{
$group=$cacheDir.$group.DS;
if($dh2=opendir($group))
while($file=readdir($dh2))
if((strpos($file,'.cache')===strlen($file)-6) ||
   (strpos($file,'.php')  ===strlen($file)-4) ||
   (strpos ($file,'.php_expire') ===strlen($file)-11))
{
$file=$group.$file;
if(is_file($file)&&(@filemtime($file)<$refreshTime))
@unlink($file);
}
}
}

?>

Кроме того пришлось указать дополнительное расширение, а именно пустые файлы с расширением .php_expire - после чего скрипт за несколько минут очистил всю папку кэша, в которой находилось несколько тысяч файлов.

Неплохо бы эту тему в FAQ занести? А то по поиску его не нашел.

[Kriks]

Спасибо за мамбот ))
По-ходу я сам используя паука для создания сайт-мэпа завалил свой сайт, ибо кэш вырос нереально и оперативки у хостинга отожрал в три раза больше положенного максимума (

[dimko300]

Спасибо за плагин! Тоже мучался с этой проблемой, приходилось ручками через ФТП чистить! Пока работает, дальше посмотрим... Только не понятно почему кэш через б/д не работает в Joomla, только через файл?...

[diks13]

что-то у меня не очищает кеш, использую мамбот неделю а кеш  увеличился до гигантских размеров.

[diks13]

после удаления этого замечательного мамбота сайт открывался белой страницей.восстановил бэкапом. использую CacheCleaner-v1.6.2 пока что все хорошо и быстрый доступ к очистке

[BlackDragon]

Для быстрой очистки кэша пришлось немного подправить функцию, чтобы он при каждом обращении к сайту стирал все указанные файлы в папке кэша:

может не по теме,
что дописать что б удалялись все файлы с расширением png (превьюшки) из папки tmp ?