[полезно] Периодичность посещения сайта роботами ПС

[Samodelkin777]

Подскажите как задать правило для всех роботов что-бы они обращались к страницам с определенной переодичностью?
И можно ли запретить к индексации страницы с определенными параметрами в адресной строке?
например index.php?option=com_content&task=view&id=147&Itemid=41&color=red
Вот где есть &color=red не индексировать.

[temniy]

http://robotstxt.org.ru/

[Samodelkin777]

http://robotstxt.org.ru/

Был я там, но что-то пока не нашел что меня интересует

[ZHart]

Подскажите как задать правило для всех роботов что-бы они обращались к страницам с определенной переодичностью?

Если в админке включишь расширенные теги индексации, то среди мета-тегов появятся строки:
<meta name="revisit" content="10 days" />
<meta name="revisit-after" content="10 days" />

Только вот насколько я знаю, поисковики ложили на все эти настройки и заходят на сайт с той периодичностью, с которой считают нужным. Да это и логично вполне, ведь если бы они слушались каждого, кто считает, что его сайт нужно переиндексировать каждый день, то не хватило бы никаких мощностей.
А для robots.txt, насколько я знаю, не существует даже такого "формального" указателя переиндексации.

[Samodelkin777]

Вот нашел применительно к яндексу. Может кому понадобится.

Crawl-delay: 2

Использование robots.txt

[VETERINAR]

Вот нашел применительно к яндексу. Может кому понадобится.

Crawl-delay: 2

Использование robots.txt

Но этим можно добиться только более редкого посещения. Чаще от этого ходить он не будет )

[Samodelkin777]

Но этим можно добиться только более редкого посещения. Чаще от этого ходить он не будет )

Мне это и нужно.  последние несколько дней хостер жалуется нагрузка большая, из видимых причин пока только Yandex

[VETERINAR]

хостер жалуется нагрузка большая, из видимых причин пока только Yandex

Блин, мне бы чтобы чаще ходил. Хотел бы видеть его по 2 раза в день. Включите кеширование, отключите ненужный мамботы. Возможно, получится уменьшить нагрузку без этого.