Здравствуйте!
Столкнулся с необходимостью унифицирования имени сайта как "site.com", без www
Во-первых, преследовались эстетическая(визуально проще и легче как для запоминания так и для любителей набирать "WWW") и смысловая(www вроде как анахронизм) цели.
Решилось указанием 301 редиректа в .htaccess
Во-вторых, борьба с дублями в ПС. И вот здесь возник вопрос. Положение усугубляется еще и тем, что известный переводной фак по robots.txt в нете вроде как устарел, там сам автор про это прозрачно намекал, остальные тоже противоречивы. А во вторых, даже поискав по форуму, увидел что разные опытные форумчане имеют на счет сабжа разные мнения.
Вот и хотелось бы услышать мнения бывалых, держащих, так сказать, руку на пульсе событий:
Вопросы в следующем:1. Директива Host -
только для Яндекса?
2. Как все же лучше - прописывать директиву Host в общей секции для всех роботов или сформировать такую же но с "User-agent: Yandex" и соответственно директивой Host в конце?
3. Правильно ли я понял, что для Google для склейки достаточно редиректа?
...Я тут уже начал сомневаться, а нужно ли вообще в случае с Яндексом при указании как основного имени сайта вариант "с www" или "без www" вообще прописывать Host в robots.txt
Вот выдержки из хелпа Яндекса:
"
Какой сайт будет выбран главным зеркалом?В случае перенаправления в качестве главного зеркала робот выберет цель редиректа."
Кроме того в во многих источниках, как например,
http://robotstxt.org.ru/rurobots/yandex#host сказано про зеркала как про разные домены. И, допустим, приводится решение, положить в корень неглавных зеркал файл роботс. Но у меня один и тот же физически сайт и роботс один. К тому же, как я уже писал, сделан редирект.
Кроме того нашел информацию на noindex.by что Host понимает еще и робот Рамблера. Краем уха слышал что Рамблер отказался от собственного робота на данный момент, но все равно ситуация тут не ясна.
Короче что посоветуете? )
Ситуция простая, сделан серверный редирект "с www" на "без www". Все работает. Сайт молодой. Нужно еще что-то делать?