Joostina 1.2 нагрузка на сервер

[intcorp]

Приветствую.
Имеется мультиязычный сайт на Joostina 1.2 + JoomFish + фирт 1.0.15 + sh404SEF. Стоит мамбот SystemCache и до недавних пор особо проблем с нагрузкой на сервер не было, но вот уже где-то с неделю идет высокая нагрузка на сервер, хотя в фаербаге не видно очень большого кол-ва запросов при открытии страниц. В чем может быть причина?
www ukrainiantouch com

[intcorp]

Дата                 Максимальный пик запросов в минуту
21 Июля 2010 г. 1522
20 Июля 2010 г. 3855
19 Июля 2010 г. 7004
18 Июля 2010 г. 3879
17 Июля 2010 г. 4687
16 Июля 2010 г. 2943
15 Июля 2010 г. 4762
14 Июля 2010 г. 1877

[Arkadiy]

думаю в sh404SEF дело, я у себя его собрата Артио выбросил. Стал тормозить при увеличении кол-ва товаров в магазине.

[intcorp]

Кол-во товара не менялось. FireBug показывает не более 50 запросов на странице и откуда в итоге вылазит столько запросов непонятно. У sh404SEF включено кеширование ссылок. Я так подозреваю, что это поисковик тормошит сайт, т.к. за день нет столько просмотров страниц сайта посетителями, чтобы было столько запросов к БД...

[Arkadiy]

В принципе может и поисковик если посетителей не много.

[ZHart]

Если поисковик, то можно попробовать поубавить его аппетиты, прописав в robots.txt:

Код:

Crawl-delay: 5

Этим мы скажем поисковику, что запросы можно делать не чаще, чем 1 раз в 5 секунд.
Значение можно менять по своему усмотрению.

P.S.: У меня была подобная проблема, в итоге оказалось виноват «нехороший домен». Я купил домен с ТИЦ и PR и закрепил его за одним из сайтов для склейки параметров с основным доменом. И именно на этот домен (как я потом выяснил) шла уйма обращений непонятного толка. Как только отключил этот домен — нагрузка моментально вернулась к норме.

[intcorp]

Сайт/домен один на аккаунте и был куплен с нуля. Попробую поисквики расслабить)

[intcorp]

Сделал Crawl-delay: 15 , но не сказал бы, что кол-во запросов сильно отличается... или надо подождать?

[ZHart]

Не знаю, как часто поисковики пересматривают файл robots.txt.
Учитывая его размер и значимость, думаю довольно часто.
Я бы на вашем месте в логах доступа покопался, посмотрел, с каких IP-шников идет наибольшее количество обращений.
Если это IP-шники поисковиков, тогда точно будет понятно, в какую сторону копать.
Если это не поисковики, тогда по крайней мере будет понятно, куда не копать

[Messir]

На нескольких сайтах (исходя из логов) нагрузку создавал поисковый бот яндекса. Crawl-delay: 15 помогает, но нагрузка падает дня через три - неделю. У меня во всяком случае так было.