Правильный robots.txt? [вопросы/обсуждение]

[wishlight]

Кто подскажет, этот robots.txt будет правильным для поисковиков?

Показать текстовый блок

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /go.php
Host: www.mysite.com

Sitemap: http://www.mysite.com/sitemap/xml

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /go.php
Host: www.mysite.com

Sitemap: http://www.mysite.com/sitemap/xml

Яндекс претензий не имеет. Видит правда 2 ссылки на карту сайта, но не жалуется.

[profiX0808]

Вроде все правильно. Только зачем для яндекса отдельные "указания", если они идентичные как и для всех "*" ?

Sitemap: http://www.mysite.com/sitemap/xml - здесь имелось ввиду Sitemap: http://www.mysite.com/sitemap.xml ?

Добавьте сайт в панель вебмастера от яндекса, там есть "Анализ robots.txt". Если есть какие проблемы, то там будет написано.

[voland]

Код:

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/

User-agent: Yandex
Host: www.mysite.com

Вот так правильно

[profiX0808]

Код:

User-agent: Yandex
Disallow:
Host: www.mysite.com

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /go.php

Sitemap: http://www.mysite.com/sitemap.xml

[wishlight]

http://www.mysite.com/sitemap/xml
формат карты именно такой с SEF . Чем это может помешать?

Яндекс претензий не имеет. Видит правда 2 ссылки на карту сайта, но не жалуется.

Да наверно личные указания для яндекса это лишнее
Формат карты такой, потому что для страниц на сайте не указываются расширения. Указывать их на данном этапе развития поисковых систем лишнее и в Яндекс вебмастер (и Google) проблем с картой сайта нет.
Думаете убрать личные указания для яндекса?

Показать текстовый блок

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /go.php
Host: www.mysite.com

Sitemap: http://www.mysite.com/sitemap/xml

вот это для меня верное.... А то, что вверху насоветовали.
Сайт редиректит на страницы с www. автоматом по этому такой хост
Папку с изображенями открыл, лишнее удалил. Открыл для участия в поиске с картинками

[voland]

http://www.mysite.com/sitemap/xml
формат карты именно такой с SEF . Чем это может помешать?
Да наверно личные указания для яндекса это лишнее
Формат карты такой, потому что для страниц на сайте не указываются расширения. Указывать их на данном этапе развития поисковых систем лишнее и в Яндекс вебмастер (и Google) проблем с картой сайта нет.
Думаете убрать личные указания для яндекса?

Показать текстовый блок

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /go.php
Host: www.mysite.com

Sitemap: http://www.mysite.com/sitemap/xml

вот это для меня верное.... А то, что вверху насоветовали.
Сайт редиректит на страницы с www. автоматом по этому такой хост
Папку с изображенями открыл, лишнее удалил. Открыл для участия в поиске с картинками

Я не просто от балды написал вверху как верно - директива host верна только для Яндекса поэтому и сделана в отдельной секции, если сами считаете как вам правильно - зачем спрашивать?

[wishlight]

Спасибо за подсказки. Считаю, что вы правы. Наверно так и сделаю. Просто предложил свой вариант. Про хост читал и думал, что даже если не писать это яндексу то Google и другие поисковики просто не учтут дерективу.

Disallow:- это я получается для яндекса открыл все папки для индексирования (если без слеша)? Сейчас вкуриваю много мануалов, уже плющит.

Показать текстовый блок

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /go.php

Sitemap: http://www.mysite.com/sitemap/xml

User-agent: Yandex
Host: www.mysite.com

[profiX0808]

спецом зашел (поискал) относительно "Disallow:", здесь нашел -> http://help.yandex.ru/webmaster/?id=996567 , цитирую:

Код:

#Пример корректно составленного robots.txt, при обработке
#которого директива Host учитывается
User-Agent: *
Disallow:
Host: www.myhost.ru
 
#Примеры некорректно составленных robots.txt, при обработке
#которых директива Host может не учитываться
#1.
User-Agent: *
Host: www.myhost.ru

#2.
Host: www.myhost.ru

#3.
User-Agent: *
Host: www.myhost.ru
Disallow:

#4.
Host: www.myhost.ru
User-Agent: *
Disallow:

относительно "Host: www.mysite.com", то как говорил voland, не все понимают эту комманду, по-этому лучше указывать ее для яндекса.

строку Sitemap: http://www.mysite.com/sitemap/xml желательно в самую последнюю строку.

[Edward]

А что такое
Disallow: /go.php ? 

[GDV]

Я использую такой робот

Показать текстовый блок

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
 
User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Host: Тут пишем домен
Sitemap: http:// тут урл карты сайта

[Webb]

А что такое
Disallow: /go.php ? 

запрет на эту директорию

есть кто еще с роботс, выкладывай, щас мода такая...

[kafelplitka]

народ подскажите, для индексации картинок в VirtueMart сделал такой робот, насколько он верный и какие замечания?

Показать текстовый блок

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /index2.php?page=shop
Disallow: /components/com_banners
Disallow: /components/com_contact
Disallow: /components/com_content
Disallow: /components/com_csvimproved
Disallow: /components/com_jce
Disallow: /components/com_mailto
Disallow: /components/com_media
Disallow: /components/com_newsfeeds
Disallow: /components/com_pol
Disallow: /components/com_quckfaq
Disallow: /components/com_search
Disallow: /components/com_user
Disallow: /components/com_virtuemart/js
Disallow: /components/com_virtuemart/themes
Disallow: /components/com_virtuemart/fetchscript.php
Disallow: /components/com_virtuemart/show_image_in_imgtag.php
Disallow: /components/com_virtuemart/virtuenart.php
Disallow: /components/com_virtuemart/virtuemart_parser.php
Disallow: /components/com_virtuemart/shop_image/ps_image
Disallow: /components/com_virtuemart/shop_image/vendor
Disallow: /components/com_virtuemart/shop_image/JSCookTree.js
Disallow: /components/com_virtuemart/shop_image/blank.gif
Disallow: /components/com_virtuemart/shop_image/index.html
Disallow: /components/com_weblinks
Disallow: /components/com_wrapper
Disallow: /components/com_com_xmap
Disallow: /components/index.html
Allow: /components/com_virtuemart/shop_image/category
Allow: /components/com_virtuemart/shop_image/product

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/com_banners
Disallow: /components/com_contact
Disallow: /components/com_content
Disallow: /components/com_csvimproved
Disallow: /components/com_jce
Disallow: /components/com_mailto
Disallow: /components/com_media
Disallow: /components/com_newsfeeds
Disallow: /components/com_pol
Disallow: /components/com_quckfaq
Disallow: /components/com_search
Disallow: /components/com_user
Disallow: /components/com_virtuemart/js
Disallow: /components/com_virtuemart/themes
Disallow: /components/com_virtuemart/fetchscript.php
Disallow: /components/com_virtuemart/show_image_in_imgtag.php
Disallow: /components/com_virtuemart/virtuenart.php
Disallow: /components/com_virtuemart/virtuemart_parser.php
Disallow: /components/com_virtuemart/shop_image/ps_image
Disallow: /components/com_virtuemart/shop_image/vendor
Disallow: /components/com_virtuemart/shop_image/JSCookTree.js
Disallow: /components/com_virtuemart/shop_image/blank.gif
Disallow: /components/com_virtuemart/shop_image/index.html
Disallow: /components/com_weblinks
Disallow: /components/com_wrapper
Disallow: /components/com_com_xmap
Disallow: /components/index.html
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /index2.php?page=shop
Allow: /components/com_virtuemart/shop_image/category
Allow: /components/com_virtuemart/shop_image/product
Host: www.site.ru

Sitemap: http://www.site.ru/index.php?option=com_xmap&sitemap=1&view=xml&no_html=1

[rubasket]

кафель,по-моему в этом случае карта только для якова

и еще :вроде как можно прописать элоу для картинок вирта ,а потом дисэлоу для всего остального родительского ,нежели так мучаться

[kafelplitka]

кафель,по-моему в этом случае карта только для якова

и еще :вроде как можно прописать элоу для картинок вирта ,а потом дисэлоу для всего остального родительского ,нежели так мучаться

Вот я и хочу узнать истину, можно ли так делать или нет и почему только для Якова - первая часть робота со *

[rubasket]

1)так карта в нижней указана.перенесите
2) попробуйте сделать, как я сказал , и проверьте через я.панель- проверка юрл на открытость для Yandex

[art22]

Привет всем вот мой робот правильный все сделано? и еще так стоит сделать  User-agent: Yandex ? это как то влияет на индексацию?у меня уже почти 2 недели сайт стоит на очереди в яндексе не индексирует(((
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /templates/
Disallow: /plugins/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /*.pdf
Disallow: /*.doc
Disallow: /*print

[GDV]

Для Yandex отдельно пишем данные команды.
Как показано выше. Два столба
один для всех поисковиков а другой для яндекса.
отдельный.

у kafelplitka уникальный. Вы еще на каждый отдельный файл сделайте запред.
Как раз на томик война и мир выйдет.
Достаточно давать запред на папку. Все что в папке роботы смотреть не будут.

[terr]

components многие убрают ето при том что VirtueMart именно там находится

[annushka]

Ну раз пошла такая пьянка.   Для стандартного новостного сайта со стандартным включенным SEF такое подойдет?

Показать текстовый блок

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /index.php?*
Disallow: /*.pdf
Disallow: /*.doc
Disallow: /*print
 
User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /index.php?*
Disallow: /*.pdf
Disallow: /*.doc
Disallow: /*print

Host: site.ru

Sitemap: http://site.ru/sitemap

[MaRt]

Ну раз пошла такая пьянка.   Для стандартного новостного сайта со стандартным включенным SEF такое подойдет?

Показать текстовый блок

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /index.php?*
Disallow: /*.pdf
Disallow: /*.doc
Disallow: /*print
 
User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /index.php?*
Disallow: /*.pdf
Disallow: /*.doc
Disallow: /*print

Host: site.ru

Sitemap: http://site.ru/sitemap

если у вас Disallow: /installation/ такая папка есть. то удалите ее из роботса и с сайта ))) ну и сефовский дубликат главной закройте

[art22]

привет всем стоит ли добавить /index.php? в робот если включено  SEO , mod_rewrite    и суффикс к URL ??

[terveg]

User-agent: Yandex
Disallow:

что означает такой роботс? все открыто для индекса?

[Ilia]

Что нужно прописать в роботсе, чтоб избавиться от подобных дублей:
http://site.ru/component/content/frontpage/frontpage?start=25
http://site.ru /category?start=5

[фобос]

привет всем стоит ли добавить /index.php? в робот если включено  SEO , mod_rewrite    и суффикс к URL ??

Лучше не стоит, так как поисковики индексируют ссылки как есть, а потом уже в поиске выводят как им предлагают.
Если добавить /index.php? то поисковики большую часть контента не будут индексировать.

User-agent: Yandex
Disallow:

что означает такой роботс? все открыто для индекса?

Он запрещает индексировать роботу Яндекс.

P.S. Необходимо в роботсе прописывать для всех ботов и отдельно для яндекса, так как он любит когда к нему индивидуально обращаются.

[voland]

Лучше не стоит, так как поисковики индексируют ссылки как есть, а потом уже в поиске выводят как им предлагают.

Поисковики видят ссылки также как и пользователь, у них нет доступа в админку движка - БРЕД!

Если добавить /index.php? то поисковики большую часть контента не будут индексировать.

Если включен SEF то всё будет индексироваться, более того выпадут несеф-ссылки-дубли что есть очень хорошо. Опять неверно.

P.S. Необходимо в роботсе прописывать для всех ботов и отдельно для яндекса, так как он любит когда к нему индивидуально обращаются.

Еще больший БРЕД!!

Это пост человека который понятия не имеет о чем он пишет или специальная наглая ложь?

[фобос]

вот мой Robots.txt

Показать текстовый блок

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /component/attachments/download/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /xmlrpc/
Host: www.supernew.org
Crawl-delay: 1
Request-rate: 1/1

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /component/attachments/download/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /xmlrpc/
Host: www.supernew.org
Crawl-delay: 1
Request-rate: 1/1

Что показывает Яндекс.вебмастер:

Код:

Используемые секции
Строка
19-35 User-agent: Yandex
Disallow: /administrator/
...
Request-rate: 1/1

Отсюда делайте свои выводы, стоит ли прописывать User-agent: Yandex

[voland]

Если отдельной секции для яндекса нет, он читает общую секцию

[n_i_x]

вот мой Robots.txt

Показать текстовый блок

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /component/attachments/download/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /xmlrpc/
Host: www.supernew.org
Crawl-delay: 1
Request-rate: 1/1

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /component/attachments/download/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /xmlrpc/
Host: www.supernew.org
Crawl-delay: 1
Request-rate: 1/1

Что показывает Яндекс.вебмастер:

Код:

Используемые секции
Строка
19-35 User-agent: Yandex
Disallow: /administrator/
...
Request-rate: 1/1

Отсюда делайте свои выводы, стоит ли прописывать User-agent: Yandex

Disallow: /components/
Disallow: /component/attachments/download/
разве Disallow: /components/ не достаточно? это же вроде как корневая, которая если закрыта, то и закрыто всё, что в ней

и папки installation у тебя вроде не должно быть, получается лишняя строка

[фобос]

Disallow: /components/
Disallow: /component/attachments/download/
разве Disallow: /components/ не достаточно? это же вроде как корневая, которая если закрыта, то и закрыто всё, что в ней

Это два совершенно разных адресса.
components/ - это системная папка, где собственно лежат все компоненты
component/ - это сформированная ссылка через стандартный SEF

и папки installation у тебя вроде не должно быть, получается лишняя строка

Это на всякий случай, чтобы во время каких-либо установок не трогали эту папку.

[imisterio]

Подскажите что прописать надо, чтоб от таких дублей избавиться:

site.ru/index.php?start=305
site.ru/index.php?start=385
site.ru/index.php?start=325
site.ru/index.php?start=320

И от

site.ru/index.php

заодно.
На счет того, что при включенном SEF появляется много дублей это точно. От них нужно избавляться в немедленном порядке и закрывать от индексации всё что только можно:) ГС-строителям, конечно много страниц - счастье, но для продвижения это не есть гуд.