Правильный robots.txt? [вопросы/обсуждение]

[фобос]

site.ru/index.php

Можно сделать редирект на site.ru

[imisterio]

Можно сделать редирект на site.ru

Пробовал в htaccess, но редирект не работает, т.к. уже есть один редирект которые перенаправляет с index.php страниц на SEF страницы(Стандартный mod_rewrite joomla)

[Rocknrostov]

Блин уже кучу тем на форуме перечитал, но единого мнения так и не увидел. Вообщем мне нужно сделать хороший роботс тхт для сайта. пока он выглядит так

Показать текстовый блок

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /component/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /*.pdf
Disallow: /*.doc
Disallow: /*print
 
User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /component/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /*.pdf
Disallow: /*.doc
Disallow: /*print
Disallow: /poker-school/itemlist/


Host: xxx
Sitemap: http://xxx/index.php?option=com_xmap&sitemap=1&view=xml

Но интересуют следующие вещи, у некоторых видел Disallow: /component/ не такой а Disallow: /component/* так и не нашёл инфы что означает звёздочка. И у кого-то видел какие-то конкретные подпапки в папке /component/ скрыты. Может я зря скрыл эту мнимую папку? У меня Alphacontent  дублировал материалы со ссылкой сожержащей  /component/ бла бля бла, вот и решил что это нужно.
СТоит стандартный SEF, вот и хочу сделать окончательно нормальный роботс тхт.
Ещё стоят kunena, K2, Myblog. МОжет у кого есть директивы под эти компоненты, от них тоже появился мусор в Яндекс вебмастере. Если не найду готовые решения - придётся по мере появления ненужных страниц в вебмастере исключать их Disallow: ом.
Ещё хотел спросить про теги. Я так понял они дают кучу неуникальных страниц. Кто-нибудь запрещает индексацию таких страниц. и если можно примеры)

[Pianistka]

Объясните, пожалуйста, зачем что-то запрещать роботам? Пусть они всё индексируют, ведь тогда больше шанс вылезти на первую страницу в яндексе. Или я что-то не понимаю?

[SmokerMan]

Объясните, пожалуйста, зачем что-то запрещать роботам? Пусть они всё индексируют, ведь тогда больше шанс вылезти на первую страницу в яндексе. Или я что-то не понимаю?

если одна и та же страница будет проиндексирована с разными url, то тогда больше шанса будет попасть в попу, а не на первую
Для этого и пишутся запреты, чтобы поисковик не индексировал "дубли" страниц.

[Pianistka]

То есть нужно открыть сайт для роботов по максимуму, но при этом следить чтоб не было дублей? Конкретно для яндекса это нужно делать перебором и проверкой на наличие дублей вот тут: http://webmaster.yandex.ru/robots.xml, я правильно понимаю?
Подскажите кто-нибудь из профи, какие папки нужно обязательно добавлять? И какие обязательно удалять из индексирования?

[zikkuratvk]

все таки я бы еще добавил Disallow: /index.php?
Но если вы используете Xmap то надо будет сделать небольщой хак.
Сделать редирект сайтмап

Код:

RewriteRule ^sitemap/([^/]*)\.xml$ /index.php?option=com_xmap&sitemap=$1&view=xml [L]

на выходе получится что-то типа такого /sitemap/1.xml

[SmokerMan]

Но если вы используете Xmap то надо будет сделать небольщой хак.

в robots.txt есть такая штука как Allow:

[zikkuratvk]

в robots.txt есть такая штука как Allow:

:-) за то так мы еще получили красивый адрес :-)

[Edward]

в моем случае, правильный такой

Показать текстовый блок

User-agent: *
Allow: /images/stories/
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /editor/
Disallow: /help/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /mambots/
Disallow: /media/
Disallow: /modules/
Disallow: /templates/
Disallow: /user_images/
Disallow: /?option=
Disallow: /?replyto=
Disallow: /?mosmsg=
Disallow: /?

Sitemap: http://xxx.ru/index.php?option=com_xmap&sitemap=1&view=xml

User-agent: Yandex
Allow: /images/stories/
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /editor/
Disallow: /help/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /mambots/
Disallow: /media/
Disallow: /modules/
Disallow: /templates/
Disallow: /user_images/
Disallow: /?option=
Disallow: /?replyto=
Disallow: /?mosmsg=
Disallow: /?
Host: xxx.ru

яндекс, действительно, тупой.

[4ertinog]

Можно ли в robots.txt сделать запись вида:

Код:

Disallow: *com_virtuemart*

И будут ли запрещены url где встречается это сочетание? В яндексе проверял, url блокируются. Для Google это правило тоже действует?

[kipexpert]

в моем случае, правильный такой

Показать текстовый блок

User-agent: *
Allow: /images/stories/
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /editor/
Disallow: /help/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /mambots/
Disallow: /media/
Disallow: /modules/
Disallow: /templates/
Disallow: /user_images/
Disallow: /?option=
Disallow: /?replyto=
Disallow: /?mosmsg=
Disallow: /?

Sitemap: http://xxx.ru/index.php?option=com_xmap&sitemap=1&view=xml

User-agent: Yandex
Allow: /images/stories/
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /editor/
Disallow: /help/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /mambots/
Disallow: /media/
Disallow: /modules/
Disallow: /templates/
Disallow: /user_images/
Disallow: /?option=
Disallow: /?replyto=
Disallow: /?mosmsg=
Disallow: /?
Host: xxx.ru

яндекс, действительно, тупой.

Вроде Disallow: /? закрывает от индексации все что  с ? идет зачем отдельно ставить:
Disallow: /?option=
Disallow: /?replyto=
Disallow: /?mosmsg=
непойму, разъясните пожалуйста.

[SmokerMan]

/? - это изврат какой-то.
как минимум нельзя закрывать параметры, т.е. все что идет после "?", так как не будет индексироваться, допустим, пагинация (разбиение на страницы) и еще может много чего.

[armid]

Но если вы используете Xmap то надо будет сделать небольщой хак.
Сделать редирект сайтмап

Код:

RewriteRule ^sitemap/([^/]*)\.xml$ /index.php?option=com_xmap&sitemap=$1&view=xml [L]

на выходе получится что-то типа такого /sitemap/1.xml

У меня что то хак не работает. Карта по здоровому адресу так и открывается.

Хотя RewriteRule с www на без www работает.

Т.е. настройки сервера как понимаю нормальные

[Edward]

Вроде Disallow: /? закрывает от индексации все что  с ? идет зачем отдельно ставить:
Disallow: /?option=
Disallow: /?replyto=
Disallow: /?mosmsg=
непойму, разъясните пожалуйста.

у меня easy SEF на сайте.. ссылки - чистые.

[crepej]

Хелп ми почему такой робо текс может его сократить как то?

Показать текстовый блок

User-agent: *
Disallow: /address_book_process.php
Disallow: /ajax_shopping_cart.php
Disallow: /account.php
Disallow: /account_edit.php
Disallow: /account_edit_process.php
Disallow: /account_history.php
Disallow: /account_history_info.php
Disallow: /address_book.php
Disallow: /advanced_search_result.php?
Disallow: /affiliate_affiliate.php
Disallow: /ask_a_question.php
Disallow: /checkout_alternative.php
Disallow: /checkout_process.php
Disallow: /advanced_search.php
Disallow: /advanced_search_result.php
Disallow: /cache/
Disallow: /admin/
Disallow: /checkout_address.php
Disallow: /checkout_confirmation.php
Disallow: /checkout_payment.php
Disallow: /checkout_success.php
Disallow: /checkout_shipping.php
Disallow: /contact_us.php
Disallow: /create_account.php
Disallow: /create_account_guest.php
Disallow: /create_account_process.php
Disallow: /create_account_success.php
Disallow: /featured.php
Disallow: /highslide/
Disallow: /index.php/manufacturers_id/
Disallow: /info_shopping_cart.php
Disallow: /shopping_cart.php
Disallow: /login.php
Disallow: /logoff.php
Disallow: /news.php
Disallow: /newsletter.php
Disallow: /products_new.php
Disallow: /password_double_opt.php
Disallow: /popup_image.php
Disallow: /popup_search_help.php
Disallow: /privacy.php
Disallow: /product_notifications.php
Disallow: /product_reviews.php
Disallow: /product_reviews_info.php
Disallow: /product_compare.php
Disallow: /reviews.php
Disallow: /shipping.php
Disallow: /shop_content.php
Disallow: /export/
Disallow: /download/
Disallow: /includes/
Disallow: /pub/
Disallow: /media/
Disallow: /index.php/action/
Disallow: /product_info.php/action/
Disallow: /special.php
Disallow: /specials.php
Disallow: /*action=*
Disallow: /*q=*
Disallow: /*on_page=*
Disallow: /*cPath
Disallow: /*manufacturers_id
Disallow: /manu/
Disallow: /index.php/manu
Disallow: /index.html?products_id
Disallow: /cookie_usage.php
Disallow: /index.php/products_id
Disallow: /*sort/
Disallow: /*on_page/
Disallow: /index.php?action=buy_now
Disallow: /specials.php/action/buy_now

[ABCroNews]

Хочу подвести итог всего сказанного, так как сам в первый раз пишу robots.txt Народ если не в облом, ответе коротко еще разок на все вопросы:
1) Нужно ли писать User-agent: Yandex когда уже есть User-agent: *?
2) Что точно означает Host: www.site.ru, что мол это главный вид ссылки и что происходит редирект с site.ru на www.site.ru?
3) Если прописать Disallow: /images/ то картинки не будут индексироваться и с тем самым не будут выдаваться поисковиком? А ведь в robots.txt эта опция стоит по умолчанию.
4) Что точно дает значение Sitemap:, карту сайта же и так индексируют роботы как часть сайта?
5) Не возникнет ли проблем с индексацией если при использовании стандартного SEF добавить в robots.txt значение Disallow: /index.php?
6) Что такое опции Crawl-delay:, Request-rate: и Allow:?
7) Где это на сайте встречается такое расширение Disallow: /*.doc?
8 Нормальный ли адрес имеет моя карта сайта http://site.ru/karta-sajta.html? Такое имя получил в результате использования стандартного ЧПУ и не прибегал к разным хакам и хитростям.
9) Как запретить в robots.txt индексировать все кроме карты сайта? Так как из-за структуры Joomla создаются дубли (главная-раздел-категория-материал + все еще разок повторяется в карте сайта) Кароче нужно чтобы в индекс попадали только "оригинальные страницы" без дублей
10) Нужно ли скрывать от индексации остальные файлы расположенные в корневой директории (не папки)?
11) Может ли как то помешать в robots.txt опция Disallow: /installation/ ее нужно удалять или же все таки можно оставить на всякий случай?
12) Почему некоторые пишут Disallow: /*print а некоторые Disallow: /*print=1 в чем тут разница?

P.S Кстати можно еще добавить опцию Disallow: /*mailto/ для скрытия мыла

[FU11M]

У меня стоит Joomla Tags, выводится список тегов на главной странице. Кроме того, в главном меню есть кнопка Показать все теги. В итоге, на одну и ту же страницу я могу попасть по двум разным ссылкам:
...component/tag/tag1
и
...alltags/tag1
Что лучше запретить в robots.txt: /components/com_tag/ или ссылку на теги из главного меню, и можно ли вообще запретить внутреннюю ссылку в robots.txt?

И ещё один вопрос. Я правильно понимаю, что для поддомена вида ру.сайт.ком нужен ровно такой же robots.txt, только ссылки в "Host" и "Sitemap" нужно поменять?

[VOVKA772007]

Народ ну что ни кто не поможет? Я готов даже подкинуть несколько баксов тому человеку, который хорошо разбирается в robots.txt и поможет мне составить более полный и правильный роботс и также который ответит на ряд вопросов. Связаться можно через Асю, она в моем профиле.

Почитайте здесь, может поможет
<a href="http://www.netshop24.ru/joomla-blogs/n-n-n-robotstxt.html"> robot.txt </a>
Ссылку скрипт режет, берите что в кавычках, мне помогло на 2-х сайтах

[ABCroNews]

VOVKA772007, Спасибо за ссылку

Хочу подвести итог всего сказанного, так как сам в первый раз пишу robots.txt Народ если не в облом, ответе коротко еще разок на все вопросы

Отвечу сам себе на некоторые вопросы, как это и бывает в половине случаев:
1) Нет
2) В Host: указывается главное зеркало сайта
3) Если прописать Disallow: /images/ то картинки не будут индексироваться
4) Sitemap: дает более быструю и полную индексацию сайта
5) Нет, для не индексации не сео ссылок нужно прописать Disallow: /index.php?*
6) Allow: это обратно от Disallow:., Crawl-delay: применяется при сильной загруженности сервера., Request-rate: ?
7) Наверное у кого то и встречается
8 Нет, так как нужно копировать название .xml ссылки из компонента и его уже прописывать в robots.txt
9) Дубли это страницы с одинаковым контентом и разными адресами, необходимо добавить Sitemap: ссылка карты сайта.xml в robots.txt
12) Скорее всего у каждого свои адреса для опции "print"(есть еще и такие /name.php?action=print)

Не смог найти ответы только на 10 и 11 вопрос, а также не совсем понятно как задать карте сайта вид http://имя-сайта/sitemap.xml  а не http://имя-сайта/index.php?option=com_xmap&sitemap=1&view=xml

Вот ссылка на описание robots.txt http://help.yandex.ru/webmaster/?id=996567
А вот на проверку самого файла robots.txt http://webmaster.yandex.ru/robots.xml

[VOVKA772007]

По моему разумению (по крайней мере на всех своих сайтах я так делаю):

Показать текстовый блок

User-agent: Yandex
Disallow: /administrator/
Disallow: /backup/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /index2.php?option=com_content&task=emailform
Disallow: /*?sl*
Disallow: /index.php?*
Disallow: *.pdf$
Disallow: /name.php?action=print
Disallow: /trackback
Disallow: /*rss.html
Disallow: /*atom.html
Disallow: /letitbit.txt
Disallow: /shareflare.txt
Disallow: /turbobit.txt
Host: site.ru
Sitemap: http://site.ru/index.php?option=com_xmap&sitemap=1&view=xml

User-agent: *
Disallow: /administrator/
Disallow: /backup/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /index2.php?option=com_content&task=emailform
Disallow: /*?sl*
Disallow: /index.php?*
Disallow: *.pdf$
Disallow: /name.php?action=print
Disallow: /trackback
Disallow: /*rss.html
Disallow: /*atom.html
Disallow: /letitbit.txt
Disallow: /shareflare.txt
Disallow: /turbobit.txt

1. Если желаете проблем с индексацией пс Яндекс, то "Нет": система законы не соблюдает!
2. Если же не нужен выхлоп с пс Яндекс, Host не пишите - директива придумана пс Яндексом: остальной мир её не использует!
3. Абсолютно верно
4. Верно
5. Верно
6. Понимает только пс Яндекс
7. Это ж Офис от Мелкомягких!
8. Нет, все поисковики кушают *.xml, ставьте компонент xmap
9. Верно, иначе попадёте под фильтр, а то и в "бан" ПС
10. Нужно, на выбор
11. Если используете компоненты бэкапа сайта, типа Akeba Core, супротив кражи бэкапа и взлома сайта - надо Однозначно!
12. Полностью с Вами согласен
Это моё мнение, Вы вольны делать как угодно на своих сайтах, на свой страх и риск!  

[ABCroNews]

VOVKA772007,
1) Значит получается что лучше прописать один User-agent: Yandex и указать все только для Яндекса, а другой User-agent: * для остальных поисковиков., как у вас?
Но с другой стороны замете, что самим Яндексом (http://help.yandex.ru/webmaster/?id=996567) даются примеры где используются "якобы только его" атрибуты в User-agent: * (те для всех ПС)
10) Какие точно файлы или может даже все, нужно скрыть для безопасности сайта, можете уточнить?
11) Ну тогда директорию /installation/ тоже можно прописать на всякий случай, проблем не будет?

P.S Может знаете, как задать ссылке от карты сайта вид http://имя-сайта/sitemap.xml а не http://имя-сайта/index.php?option=com_xmap&sitemap=1&view=xml

[VOVKA772007]

1. Думаю, для Яндекс отдельно, для всех остальных отдельно: как у меня
Сам Яндекс меняет правила каждый день: то url для домена 2-го уровня надо добавить с www, то без...
Google и компания работают почти по стандартам, но к сожалению более 80% русских начинающих юзеров пользуют не Гугль...
2. Если бэкап делаете каким - либо компонентом, то /installation/ и папку где бэкап хранится: у меня /backup/
3. Ссылке от карты сайта вид http://имя-сайта/sitemap.xml зачем задавать? Вы карту в *.xml видели? На фронт, для пользователей делаете HTML: красиво и удобно, а для роботов в *.xml....
Красиво и удобно.
Задать ссылке от карты сайта вид http://имя-сайта/sitemap.xml, насколько я знаю, можно сторонним компонентом, например SEF, но зачем вам лишняя нагрузка на сервер я не пойму...
Ссылку как у меня в роботс тхт нормально скушал и Яндекс и мсн, рамблер, гугль....Юзеры её ж не увидят, только СуперАдмин в админке и роботы... Желаю Вам успехов
P.S. Админы, видимо, осваивают Joomla 1.6, потрудились на славу!

[ABCroNews]

2. Если бэкап делаете каким - либо компонентом, то /installation/ и папку где бэкап хранится: у меня /backup/

папка /installation/ удаляется после установки, то есть в robots.txt будет прописана не существующая папка

3. Ссылке от карты сайта вид http://имя-сайта/sitemap.xml зачем задавать? Вы карту в *.xml видели? На фронт, для пользователей делаете HTML: красиво и удобно, а для роботов в *.xml....

Но опять же получается что создается дубль карты сайта, так как на сайте осталась карта вида http://имя-сайта/karta-sajta.html и ее ПС же тоже индексируют? Или же для карты сайта http://имя-сайта/karta-sajta.html можно просто установить значение "только для зарегистрированных пользователей" и ее ПС просто не увидят?

Задать ссылке от карты сайта вид http://имя-сайта/sitemap.xml, насколько я знаю, можно сторонним компонентом, например SEF, но зачем вам лишняя нагрузка на сервер я не пойму...

Абсолютно с вами согласен так как сам пользуюсь обычным ЧПУ

[VOVKA772007]

папка /installation/ удаляется после установки, то есть в robots.txt будет прописана не существующая папкаНо опять же получается что создается дубль карты сайта, так как на сайте осталась карта вида http://имя-сайта/karta-sajta.html и ее ПС же тоже индексируют? Или же для карты сайта http://имя-сайта/karta-sajta.html можно просто установить значение "только для зарегистрированных пользователей" и ее ПС просто не увидят?Абсолютно с вами согласен так как сам пользуюсь обычным ЧПУ

2. Роботу же написано: Disallow = не входи! в папку /installation/, а если директории и нет то это проблемы Админа, а не ПС
3. Сначала взгляните на обе карты сайта, а потом пишите! Вы что в HTML карте выставляете приоритет "как часто заходить пользователю на сайт, сколько раз в месяц"? HTML и XML карта - два абсолютно разных документа! и ПС об этом знают.   

[ABCroNews]

Как узнать, или что прописаь в robots.txt если нужно скрыть pdf, print, doc, mailto итп ссылки., вот например мои ссылки:
/component/mailto/?tmpl=component&link=aHR0cDovL2FsbDRuZS53cy9ob21lLmh0bWw%3D
/index.php?view=article&id=1:2011-01-15-15-47-33&tmpl=component&print=1&layout=default&page=
/index.php?view=article&id=1:2011-01-15-15-47-33&format=pdf
Что именно мне прописать в robots.txt что бы скрыть все что касается мыла, печати и PDF файлов?

Так же не совсем понятно, будет ли мешать ПС роботу лишние команды, например папка  Disallow: /installation/ которой в принципе нет на хостинге?

[doctorgrif]

исходя из логики - следующее:

Код:

Disallow: /*mailto*
Disallow: /*&print=*
Disallow: /*&format=pdf

но опять же - это исходя из логики

[ABCroNews]

А можно ли например составить такой robots.txt?

User-agent: Yandex
Disallow: / (то есть запретить индексировать весь сайт)
А потом просто с помощью опции "Allow:" прописать страницы которые нужно индексировать., нужные страницы, разделы, категории со * для того что бы не прописывать в Allow: адрес каждой новой страницы И все геморрой решен., Поисковик индексирует то что вам нужно и в индекс не попадают всякие там дубли, не информативные страницы и много другого таинственного мусора.

Или может можно сделать так:?
User-agent: Yandex
Disallow: / (то есть запретить индексировать весь сайт)
Sitemap: http://имя-сайта/index.php?option=com_xmap&sitemap=1&view=xml
То есть запретить индексировать весь сайт, а что бы индексировалась только карта сайта

P.S Для всех остальных ПС роботов придется писать нормальный robots.txt так как на сколько я понял опцию "Allow:" понимает только Яндекс

[NeZ]

Для всех остальных ПС роботов придется писать нормальный robots.txt так как на сколько я понял опцию "Allow:" понимает только Яндекс

До словно Allow - разрешать
Disallow - запрещать.
http://robotstxt.org.ru/robotsexclusion/guide Почитайте, много полезной информации написано

[ABCroNews]

До словно Allow - разрешать
Disallow - запрещать.
http://robotstxt.org.ru/robotsexclusion/guide Почитайте, много полезной информации написано

Это все понятно, только вот не понятно можно ли файл robots.txt составлять по выше описаной мною схеме? Ну разумеется только для Яндекса