напоминает такое заявление, как будто здесь берут деньги за регистрацию на данном форуме)) а Joomla коробочная КМС)) Вы заплотили деньги
Если у Вас огромный сайт, тогда почему бы Вам не создать тему в коммерческом отделе, написать ТЗ и требовать с тех кто возьмется за работенку))
У вас получается как будто они должны придумать святой грааль)) для конкретного сайта
что за бред неграмотный)
какие еще деньги за robots.txt)))
вопрос был:
как запретить индексировать сайт одновременно всем роботам? например как раз в неделю пускать робота яндекса на 2-3 часа а так же Google и других
вы же господин падки на легкие заработки) и у вас проблемы с финансами) если нужна работа предлагай в личку) я подумаю
по вопросу который я задал могу пояснить:
Частота посещения страниц роботом
Обычно робот посещает страницу сайта исходя из того, как часто изменяется содержание этой страницы. На часто обновляемые страницы робот может ходить каждый день и даже чаще. Например, если это страница новостного сайта. Когда же страница изменяется нечасто, то робот посещает ее один-два раза в неделю. Те страницы, содержимое которых не меняется, все равно посещаются роботом, однако очень редко, не более трех раз в месяц.
При этом за один заход робот запрашивает не более 20-30 страничек с сайта. Это связано с тем, что роботы поисковых систем стараются не загружать сервер своими запросами. На сайт с большим количеством страниц робот ходит часто и каждый раз берет только небольшую «порцию» страниц.
Раньше, для управления частотой посещения роботом страницы веб-мастера использовали тег META NAME="Revizit-after".
Например, запись
META NAME="Revizit-after" CONTENT="2 days"
означала, что робот должен посещать страницу раз в два дня.
Однако сейчас использование тега не оказывает никакого влияния на частоту посещения страницы роботом, робот сам определяет частоту обновления страницы и на основе этого строит свое расписание. (см. эксперимент).
Подробнее:
http://www.seonews.ru/masterclasses/robotyi-poiskovyih-sistem/как быть сейчас? остались ли рычаги управления частотой посещения страниц роботом?