Яндекс грузит процессор хостера. Как уменьшить нагрузку ?

[Автарх]

Добрый день.
Постоянно сталкиваюсь с проблемой, что яндекс грузит процессор хостера при индексировании сайта.
На сайте стоит
JRE Cache
OPENSEF
DatsoGallery
Пара модулей случайных картинок от Datso + немного рекламы
Включено стандартное кеширование.

с чем может быть связано ?
Как лечить ? А то уже неудобно отмазываться каждый раз

[ritcar]

Такая же ерунда... Яндекс грузит файл index.php  на сайте более 900 статей, как-то все заново делать не хочется

[sc@r@bey]

сменить хостинг

[ritcar]

а при чем здесь хостинг?

[sc@r@bey]

при том что не на всех хостах такая папраноя по поводу ерегрузки процессора, просто у некоторых стоит мощное оборудывание и проблем не возникает

[ritcar]

выбираю между slavhost majordomo malhost и e-planet какой посоветуете тогда?

[poizon]

я пользую рбк и пока не было проблем...

[Автарх]

при том что не на всех хостах такая папраноя по поводу ерегрузки процессора, просто у некоторых стоит мощное оборудывание и проблем не возникает

Вопрос в том, сколько оно стоит и вообще соотнешение цена/качество

[sc@r@bey]

ну так yandex.ru в руки
попробуй тех хостеров, которые предлагают пробный период, могу у себя разместить

[lsk]

Яndex буквально живет (находится днями) на одном из моих поддоменов. Сайт тестовый - очень мало контента. И тем не менее робот обходит какие-то странные страницы, к примеру:
 
 /en/shop/cart2_ru_ru_en_ru-4_ru/cart2_ru_ru_en_ru-4_ru/cart2_ru_ru_en_ru-4_ru/
 Http Code: 404 Date: Nov 09 09:24:42 Http Version: HTTP/1.0 Size in Bytes: 1844
 Referer: -
 Agent: Yandex/1.01.001 (compatible; Win16; I)

К тому же создается нагрузка на сервер и сайты начинают тупо работать. Что можно предпринять?

[sc@r@bey]

запрети индексировать Yndex-у

[sbakur]

Впиши в robot.txt например, ожидание перед загрузкой второй страницы роботом  - >>  Crawl-delay: 20

http://help.yandex.ru/webmaster/?id=996567#1022359