Правильный robots.txt? [вопросы/обсуждение]

[Sulpher]

Интересно, а как прописать карту сайта в robots.txt для многоязычного сайта? (например, на двух языках)

Может для Яндекса одна карта (русская версия), для всех остальных поисковиков - другая (английская)? Как это будет выглядеть?

[strannik-yura]

интересный вопрос, даже как-то не задумывался

[ELLE]

Если так прописать -

Код

User-agent: Yandex
Sitemap: http://сайт/ru/sitemap.xml 
 
User-agent: *
Sitemap: http://сайт/ru/sitemap.xml 
Sitemap: http://сайт/en/sitemap.xml

Все роботы увидят все карты сайта, потому что директива Sitemap не считается строго секционной.

Поэтому, если нужно дать разным роботам разные Sitemap, то лучше это делать через инструменты для вебмастеров

[tefun]

2 ELLE
Оч важный вопрос, дело в том, что есть на сайте окло 80 дублей, которые надо убрать, вот думаю прописать запрет вручную в роботсе, или на каждый редирект делать. Дело в том, что читал статью о роботс, где написано, что лучше его не пихать много (на robots.org вроде)
Для поисковиков кол-во запретов критично? У него хватит время обойти сайт, или он просто уйдет (((

[ELLE]

лучше на каждый редирект

[tefun]

лучше на каждый редирект

Ок,
тоже так думал сделать, но потом испугался, что поисковик может подумать, а не много ли редиректов на сайте))) Спасибо за совет, буду пробывать

[user]

Хочу закрыть индексацию для всех ПС кроме Яндекс, Рамблет, майлру и Google. Правильный ли robots в таком случае?

Показать текстовый блок

User-agent: *
Disallow: /

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/

User-agent: Googlebot
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/

User-agent: StackRambler
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/

User-agent: Mail.Ru
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/

Сайт маленький, всего 7 страниц + страницы регистрации, восстановления пароля/логина и профиль. Статей как таковых нет.

[tefun]

Кстати, спасибо за идею,
я вот кумекую над этим, а что мне потом будет, если я закрою сайт от всех остальных? Какие "санкции" мне грозят?
Я щас хочу оставить только для Google, Яндекс, апорта, майл и рамблера, а все остальное
User-agent: *
Disallow: /

[user]

А с чего вдруг санкции, с чьей стороны?
Так правильный файл выше или нет, кто разбирается, я на глаз сделал?

[tefun]

А с чего вдруг санкции, с чьей стороны?
Так правильный файл выше или нет, кто разбирается, я на глаз сделал?

лучше сначала поставить
User-agent: Yandex
а потом Google, рамблер, майл а потом уже для всех. Сначала ставят тех кто приоритетней
а где ?
Host: сайт.ру

Sitemap: http://сайт.ру/index.php?option=com_xmap&view=xml&tmpl=component&id=1

[tefun]

А с чего вдруг санкции, с чьей стороны?

ну а вдруг, почему то я такого совета за последнее время не слышал, чтобы скрыть от всех...да и не видел ни у кого. Все неизвестное пугает, поэтому и боюся)))

[tefun]

Доброй ночи,
появился вопрос,
у меня закрыта директория images, вот думаю теперь открыть ее, но там много изображений. просто поисковик не ищет по картинкам, думаю сделать, чтобы искал.
Хочу сделать Allow папки images.  В папке много много изображений, у многих прописаны альты
Хочу сделать Allow папке с excel-файлом (прайс-лист) там более 5 000 наименований
Роботу это не понравится? Чем черевато?

[stanislav-1983]

Всем наидобрейшего времени суток!
Прошу вынести вердикт по моему роботсу
стоит Joomla 1.5.26+k2 2.5

Показать текстовый блок

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Allow: /media/k2/items/cache/*.jpg
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /*com_mailto*
Disallow: /*pop=*
Disallow: /*tag
Disallow: /*.pdf
Disallow: /*.swf
Disallow: /index.php
Disallow: /index2.php
Disallow: /index.php?
Disallow: /index.html
Disallow: /404
Disallow: /component/
Crawl-delay: 3
Host: мой-сайт.info

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Allow: /media/k2/items/cache/*.jpg
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /*com_mailto*
Disallow: /*pop=*
Disallow: /*tag
Disallow: /*.pdf
Disallow: /*.swf
Disallow: /index.php
Disallow: /index2.php
Disallow: /index.php?
Disallow: /index.html
Disallow: /404
Disallow: /component/
Sitemap: http://www.мой-сайт.info/index.php?option=com_xmap&sitemap=1&view=xml

[ELLE]

классный роботс. только сайта такого не существует, печалька

[stanislav-1983]

классный роботс. только сайта такого не существует, печалька

приятно получить такой отзыв,но прям так классный? даже и добавить (убрать) нечего? сайт в сети, пока слегка корявенько смотрится, вот и поменял URL

[Joury]

А вот у меня такой вопрос, он чисто больше литорический.
Опиши ситуацию, у меня есть интернет-магазин, на некоторых страницах размещена ссылка на прайс листы в xls форматах,
Но вот ведь незадача, подлый Яндекс почему то индексирует страницу только как прайс, а саму страницу не индексит.
Как вообще делают правильно? Просто закрыть в роботсе xls формат, или всё же оставить и как то доработать?

[Dimit1]

Друзья, возник такой вопрос:
Насколько плохо оставить открытыми ссылки со знаками "&" и "?", каковы отрицательные последствия будут? А то у меня в AdsManager, в результатах поиска такие ссылки...
На Joomla 1,7 стоят AdsManager, jcomments, пожалуй всё.
Спасибо!

[yrygvay]

День добрый.
Решил отказаться  VM 2 от стороннего SEO.
Подскажите правильный robots.txt а то уж очень много мусора в поисковики выдаётся!

[dvd-obzor]

Стоит разбивать файл на робота для Яндекс и для всех остальных поисковиков?
Кто то говорит что надо, а кто то что не надо.

[Rex_One]

Стоит разбивать файл на робота для Яндекс и для всех остальных поисковиков?
Кто то говорит что надо, а кто то что не надо.

Пользуйтесь поиском, уже написано/описано.
http://joomlaforum.ru/index.php/topic,193446.0.html

[klara7]

Подскажите, пож-та. У меня такая проблема - Яндекс карту сайта принял на ура, Google не хочет (пишет количество ссылок 400, ошибок нет - а карту не принимает, пишет 0). Как только не колдовала, ничего. У меня в htaccess стоит RewriteRule ^sitemap.xml$ index.php?option=com_xmap&sitemap=1&view=xml

Думаю может ему sitemap.xml не нравится, пишу в robots.txt:

Показать текстовый блок

User-agent: *
Allow: /index.php?option=com_xmap&sitemap=1&view=xml
Allow: /itemlist/category/
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/      
Disallow: /components/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /*?
Disallow: /itemlist*
Disallow: /*com_mailto*
Disallow: /*pop=*
Disallow: /*lang=ru*
Disallow: /*format=*
Disallow: /*print=*
Disallow: /*task=vote*
Disallow: /*=watermark*
Disallow: /*=download*
Disallow: /*user/*
Disallow: /.html
Disallow: /404
Disallow: /index.php?
Disallow: /index.html
Disallow: /index.php
Disallow: /1-kulinariya?
Disallow: /*tag
Disallow: /*.pdf
Disallow: /*.swf
Disallow: /*print=1
Disallow: /*=atom
Disallow: /*=rss
Disallow: /component/k2/*
Sitemap: http://a-rating.ru/index.php?option=com_xmap&sitemap=1&view=xml

Он пишет "При попытке доступа к вашему файлу Sitemap произошла ошибка. Убедитесь, что этот файл Sitemap соответствует нашим правилам и находится в указанном местоположении, а затем отправьте его повторно." Но я же указала в Allow. Или же этого не достаточно?
Заранее спасибо!

[santala]

Всем наидобрейшего времени суток!
Прошу вынести вердикт по моему роботсу
стоит Joomla 1.5.26+k2 2.5

Показать текстовый блок

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Allow: /media/k2/items/cache/*.jpg
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /*com_mailto*
Disallow: /*pop=*
Disallow: /*tag
Disallow: /*.pdf
Disallow: /*.swf
Disallow: /index.php
Disallow: /index2.php
Disallow: /index.php?
Disallow: /index.html
Disallow: /404
Disallow: /component/
Crawl-delay: 3
Host: мой-сайт.info

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Allow: /media/k2/items/cache/*.jpg
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /*com_mailto*
Disallow: /*pop=*
Disallow: /*tag
Disallow: /*.pdf
Disallow: /*.swf
Disallow: /index.php
Disallow: /index2.php
Disallow: /index.php?
Disallow: /index.html
Disallow: /404
Disallow: /component/
Sitemap: http://www.мой-сайт.info/index.php?option=com_xmap&sitemap=1&view=xml

А разве вы не запретили индексацию sitemap? Тогда уж надо отдельно прописать Allow: для sitemap

[bandanu]

Скажите если сайт на к2 , все картинки в папке images то достаточно не писать Disallow: /images/ , чтобы картинки участвовали в индексации или добавить строку как у товарища stanislav-1983  Allow: /media/k2/items/cache/*.jpg 

[ELLE]

смотрим путь до картинки, идем в вебмастер раздел про индексацию и проверку роботс
далее вбиваем URL своей картинки в поле -

Показать текстовый блок

жмем "проверить" и смотрим результат ниже
и такие вопросы пропадут навсегда!

[user]

Переписал файл, кто, что скажет?
Индексация закрыта для всех кроме Яндекс, Рамблер, майл и Google.

Показать текстовый блок

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/

User-agent: Googlebot
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/

User-agent: StackRambler
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/

User-agent: Mail.Ru
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/

User-agent: *
Disallow: /

Host: http://site.ru
Sitemap: http://site.ru/index.php?option=com_xmap&view=xml&tmpl=component&id=1

[yrygvay]

День добрый.
 Сайт начал индексироваться яндексом:

Код:

# If the Joomla site is installed within a folder such as at
# e.g. www.example.com/joomla/ the robots.txt file MUST be
# moved to the site root at e.g. www.example.com/robots.txt
# AND the Joomla folder name MUST be prefixed to the disallowed
# path, e.g. the Disallow rule for the /administrator/ folder
# MUST be changed to read Disallow: /joomla/administrator/
#
# For more information about the robots.txt standard, see:
# http://www.robotstxt.org/orig.html
#
# For syntax checking, see:
# http://www.sxw.org.uk/computing/robots/check.html

User-agent: *
Allow: /index.php?option=com_xmap&sitemap=1&view=xml
Allow: /images/stories/virtuemart/category     
Allow: /images/stories/virtuemart/product
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /cli/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /*com_mailto
Disallow: /*pop=
Disallow: /*lang=ru
Disallow: /*format=
Disallow: /*print=
Disallow: /*task=vote
Disallow: /*=watermark
Disallow: /*=download
Disallow: /*user/
Disallow: /404
Disallow: /index.php?
Disallow: /index.html
Disallow: /*?
Disallow: /*%
Disallow: /*&
Disallow: /index2.php
Disallow: /index.php
Disallow: /*tag
Disallow: /*.pdf
Disallow: /*.swf
Disallow: /*print=1
Disallow: /*=atom
Disallow: /*=rss
Disallow: /shop/ask/
Disallow: /*keyword=
Disallow: /*pop=0
Disallow: /*product-search
Disallow: /*flypage=
Disallow: /*cart
Host: .ru
 
Sitemap: http://.ru/sitemap.xml


User-agent: Yandex
Allow: /index.php?option=com_xmap&sitemap=1&view=xml
Allow: /images/stories/virtuemart/category     
Allow: /images/stories/virtuemart/product
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /cli/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /*com_mailto
Disallow: /*pop=
Disallow: /*lang=ru
Disallow: /*format=
Disallow: /*print=
Disallow: /*task=vote
Disallow: /*=watermark
Disallow: /*=download
Disallow: /*user/
Disallow: /404
Disallow: /index.php?
Disallow: /index.html
Disallow: /*?
Disallow: /*%
Disallow: /*&
Disallow: /index2.php
Disallow: /index.php
Disallow: /*tag
Disallow: /*.pdf
Disallow: /*.swf
Disallow: /*print=1
Disallow: /*=atom
Disallow: /*=rss
Disallow: /shop/ask/
Disallow: /*keyword=
Disallow: /*pop=0
Disallow: /*product-search
Disallow: /*flypage=
Disallow: /*cart

 
Sitemap: http://.ru/sitemap.xml

Вот с таким роботс.

Но в Яндекс вебмастере в структуре сайта выявилось :
component/ - search/ - Itemid=684& - limit=int&
вот такая подчинённая структура.

Можно её закрыть от индексации ? не будет это вредно?!

[Dorotar]

Коротко вопрос:
Есть 15 категорий к2 и блог этих категорий, что запретить индексировать чтобы не было дублей - категории или блог категорий
mysite/index.php/lyubov - одна из категорий
mysite/index.php/stati - блог всех категорий.

И нужно ли запрещать вообще?

[tefun]

Коротко вопрос:
Есть 15 категорий к2 и блог этих категорий, что запретить индексировать чтобы не было дублей - категории или блог категорий
mysite/index.php/lyubov - одна из категорий
mysite/index.php/stati - блог всех категорий.

И нужно ли запрещать вообще?

а какие у вас дубли?
приведите пример,
у вас url с index.php стоит, может стоит его убрать, а потом запретить все странички с index.php

[user]

Нужно ли запрещать индексацию файлов в корне сайта: index.php, web.config.txt, Joomla.xml, файлы от удаленных антивирусов (norton) и вебмастера Яндекс?

[tefun]

Нужно ли запрещать индексацию файлов в корне сайта: index.php, web.config.txt, Joomla.xml, файлы от удаленных антивирусов (norton) и вебмастера Яндекс?

нет, какой смысл. Ведь они находятся в одной и той же папке что и вашсайт.ру