Правильный robots.txt? [вопросы/обсуждение]

[ELLE]

germes, в Вебмастере обычно указывается по каким причинам страницы исключены.
По вопросу могу сказать что например теговые страницы нужно закрывать в роботсе - они являются дублями.
Напр. - http://dota2you.ru/component/k2/itemlist/tag/naix это дубль страницы - http://dota2you.ru/novosti-doty/item/12-dota2_naix
во всяком случае содержание у них одинаковое.
По вашему роботсу ясно одно - для Яндекса вы вообще ничего не запретили.
Посмотрите пожалуйста примеры заполнения файла в FAQ'e

[AlexSF]

Всем доброго времени суток.
Столкнулся с проблемой. Есть скрипт комментариев + его модуль. Модуль добавляет к ссылке значение #mc-8385(цифры меняются).
Ссылка выглядит примерно так http://sit.ru/categor/statiya#mc-8385 В роботсе ставлю Disallow: /*#mc . Делаю проверку ссылки из модуля на яндексе. В ответ - разрешено.
Как правильно закрыть такие ссылки?

[none.sql]

Всем доброго времени суток.
Столкнулся с проблемой. Есть скрипт комментариев + его модуль. Модуль добавляет к ссылке значение #mc-8385(цифры меняются).
Ссылка выглядит примерно так http://sit.ru/categor/statiya#mc-8385 В роботсе ставлю Disallow: /*#mc . Делаю проверку ссылки из модуля на яндексе. В ответ - разрешено.
Как правильно закрыть такие ссылки?

Всё что находится после символа # в ссылке поисковый робот не индексирует, насколько я знаю и соответственно в роботсе ничего закрывать не нужно.

[Ingener]

если не трудно какие строчки вписать, если установлен последний AdsManager на Joomla 2.5? (включен стандартный sef)

[ghio]

Всем добрый день! Ну подскажите, пожалуйста, делаю инет-магазин на joomshoping/ В файле роботс стоит запрет на индексацию компонентов, получается, сто все мои товары вместе  с категориями не индексируются. Подскажите, как лучше его написать, чтобы сайт индексировался правильно, и при этом без лишнего мусора. Использую стандартный SEF.
Вот мой роботс:

Показать текстовый блок

User-agent: Yandex
Allow: /components/com_jshopping/files/
Disallow: /admin/
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /install/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /site/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /shop/ask/
Disallow: /*?
Disallow: /index2.php
Disallow: /*product-search
Disallow: /*cart
Disallow: /*=atom
Disallow: /*=rss
Disallow: /*feed*
Crawl-delay: 5
Host: botanmedia.ru

User-agent: *
Allow: /components/com_jshopping/files/
Disallow: /admin/
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /install/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /site/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /shop/ask/
Disallow: /*?
Disallow: /index2.php
Disallow: /*product-search
Disallow: /*cart
Disallow: /*=atom
Disallow: /*=rss
Disallow: /*feed*
Crawl-delay: 5
Sitemap: http://botanmedia.ru/index.php?option=com_xmap&view=xml&id=1

Заранее спасибо!

[ELLE]

чтобы сайт индексировался правильно, и при этом без лишнего мусора. Использую стандартный SEF.

чтобы сайт правильно индексировался - он должен быть полезен пользователем и интересен, а у вас ни одного своего слова нет.
у вас проблема не в роботсе и стоит под спойлер убирать такой объем кода.

[ghio]

чтобы сайт правильно индексировался - он должен быть полезен пользователем и интересен, а у вас ни одного своего слова нет.
у вас проблема не в роботсе и стоит под спойлер убирать такой объем кода.

ну, во-первых, свои слова есть, интернте-магазин , в первую очередь, должен народу товар предлагать, а не текстами завлекать, тем более, что он на стадии производства, и материал добавляется постоянно. Обсуждение, по-моему, роботса!
Поясните, что значит "у вас проблема не в роботсе и стоит под спойлер убирать такой объем кода"?

[ELLE]

Обсуждение, по-моему, роботса!

а по-моему вы слегка темой промахнулись.
еще раз повторю - у вас проблем в роботсе нет, ваши товары и категории товаров не закрыты от индексации.
разве что можно дополнить
Allow: /index.php?option=com_xmap&view=xml&id=1

Поясните, что значит "... и стоит под спойлер убирать такой объем кода"?

еще раз взгляните на ваше первое сообщение, думаю все поймете

[puh10]

все привет!
тема с запретом для роботов индексировать через index.php при включенном Seo ясна.
а как сделать так чтобы и при ручном так сказать наборе ссылки например yourssite.com/index.php?option=com_content&view=category&layout=blog&id=1&Itemid=50&lang=en
посетитель был перенаправлен на главную страницу к примару или на страницу где непосредственно находится материал?

иначе если ввести подобный адрес то материалы отбражаются в виде блога категории...

буду оч признателен за ответ...

P.S. еще есть вопросик даже два
все борятся за то чтобы убрать дубли на странице.
а что происходт если одинаковый контент находится по трем разным адресам?
например:
www.moza.ru
www.moza-ru.ru
www.moza-ru-gu.ru

при условии конечно что все страницы имеют собственный сервер, то есть лежат не в одном корневеке...

и еще почему никто не закрывает папку logs
только в одном или двух случаях видел что logs закрывали
на это есть свои причины? или просто пропустили?

[krokatur]

Доброго времени суток! Как прописать в robots чтобы закрыть ссылки с /html а с .html индексировались.
Заранее спасибо!

[ELLE]

puh10, первый вопрос не по теме

а что происходт если одинаковый контент находится по трем разным адресам?

погуглите "аффилиат фильтр"

и еще почему никто не закрывает папку logs

зайдите и посмотрите - есть там что закрывать?...

[ELLE]

Доброго времени суток! Как прописать в robots чтобы закрыть ссылки с /html а с .html индексировались.
Заранее спасибо!

попробуйте так
Allow: /*.html
Disallow: /html/

чтобы убедиться верно ли - проверьте через свою панель ЯВМ
--------------------
возможно еще это правило пригодиться

Код:

User-agent: Yandex
Disallow: /example$ # запрещает '/example',
                    # но не запрещает '/example.html'

[krokatur]

попробуйте так
Allow: /*.html
Disallow: /html/

чтобы убедиться верно ли - проверьте через свою панель ЯВМ
--------------------
возможно еще это правило пригодиться

Код:

User-agent: Yandex
Disallow: /example$ # запрещает '/example',
                    # но не запрещает '/example.html'

Спасибо!

[insider]

В общем столкнулся с такой проблемой. Не могу скрыть 1 страницу-статью через админ панель от поисковых систем. Как правильно в файле robots.txt прописать запрет на индексацию этой страницы. Создаю страницу без раздела и категории на главной её адрес выглядит так http://мойсайт.ру/stracza.html
в такой адрес её при образовывает sh404SEF напишите пожалуйста на примере моем как её скрыть, что прописать robots.txt

[ELLE]

В общем столкнулся с такой проблемой. Не могу скрыть 1 страницу-статью через админ панель от поисковых систем. Как правильно в файле robots.txt прописать запрет на индексацию этой страницы. Создаю страницу без раздела и категории на главной её адрес выглядит так http://мойсайт.ру/stracza.html
в такой адрес её при образовывает sh404SEF напишите пожалуйста на примере моем как её скрыть, что прописать robots.txt

Код:

Disallow: /stracza.html

FAQ: robots.txt для Joomla!

[Ingener]

Код:

User-agent: Yandex #К какому роботу обращаемся
Allow: /index.php?option=com_xmap&sitemap=1&view=xml  #разрешает доступ к карте сайта
Disallow: /administrator/ #Закрываем доступ к админке 
Disallow: /cache/ #Закрываем доступ к кеш
Disallow: /components/ #Закрываем доступ к компонентам
Disallow: /images/ # #Закрываем доступ к картинкам. Удалите, если хотите индексации картинок!
Disallow: /includes/ # #Не помню
Disallow: /language/ # #Языки
Disallow: /libraries/ # #Закрываем библиотеки
Disallow: /logs/ # # #Закрываем логи
Disallow: /media/ # # #Закрываем медиа
Disallow: /modules/ # #Закрываем модули
Disallow: /plugins/ # #Плагины
Disallow: /templates/ # #Папка с шаблонами
Disallow: /tmp/ # # #Не помню
Disallow: /xmlrpc/ # # #Не помню
Disallow: /*com_mailto* #Форма отправки писем
Disallow: /*pop=* # #Всплывающие окна
Disallow: /*lang=ru* # #Не помню
Disallow: /*format=* # #Не помню
Disallow: /*print=* # #Ссылка вывода на печать
Disallow: /*task=vote* # #Голосования
Disallow: /*=watermark* #Идиотская ссылка на водяные знаки
Disallow: /*=download* # #Ссылки на скачивание
Disallow: /*user/* # #Не помню
Disallow: /.html # # #На всякий случай. Удалите, если у вас url с этим суффиксом!
Disallow: /404 # # #Закрываем 404 ошибку
Disallow: /index.php?
Disallow: /index.html
Disallow: /*? # # #все ссылки которые содержат этот знак не индексируются !
Disallow: /*% # # #все ссылки которые содержат этот знак не индексируются !
Disallow: /*& # # #все ссылки которые содержат этот знак не индексируются !
Disallow: /index2.php # #Закрываем дубли
Disallow: /index.php # #Закрываем дубли
Disallow: /*tag # # #Закрываем облака тегов
Disallow: /*.pdf # # #Закрываем pdf файлы. По вашему усмотрению
Disallow: /*.swf # # #Закрываем флеш. По вашему усмотрению
Disallow: /*print=1 # #Закрываем ссылку на печать
Disallow: /*=atom # #Закрывает RSS
Disallow: /*=rss # # #Закрывает RSS
Host: Ваш сайт # # #Прописываем ваш сайт

User-agent: Googlebot
Allow: /index.php?option=com_xmap&sitemap=1&view=xml
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /*com_mailto*
Disallow: /*pop=*
Disallow: /*lang=ru*
Disallow: /*format=*
Disallow: /*print=*
Disallow: /*task=vote*
Disallow: /*=watermark*
Disallow: /*=download*
Disallow: /*user/*
Disallow: /.html
Disallow: /404
Disallow: /*?
Disallow: /*%
Disallow: /*&
Disallow: /index.php?
Disallow: /index.html
Disallow: /index2.php
Disallow: /index.php
Disallow: /*tag
Disallow: /*.pdf
Disallow: /*.swf
Disallow: /*print=1
Disallow: /*=atom
Disallow: /*=rss

User-agent: *
Allow: /index.php?option=com_xmap&sitemap=1&view=xml
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /*com_mailto*
Disallow: /*pop=*
Disallow: /*lang=ru*
Disallow: /*format=*
Disallow: /*print=*
Disallow: /*task=vote*
Disallow: /*=watermark*
Disallow: /*=download*
Disallow: /*user/*
Disallow: /.html
Disallow: /404
Disallow: /*?
Disallow: /*%
Disallow: /*&
Disallow: /index.php?
Disallow: /index.html
Disallow: /index2.php
Disallow: /index.php
Disallow: /*tag
Disallow: /*.pdf
Disallow: /*.swf
Disallow: /*print=1
Disallow: /*=atom
Disallow: /*=rss

Sitemap: http://сайт/sitemap.xml

Подскажите несколько сайтов на новой Joomla 2.5 статьи на стандартном контенте, включен стандартный SEF.

Можно использовать во всех сайтах приведенный выше роботс? он взят из FAQ.
Вроде должно подойти к Joomla 2.5 и закрыть все дубли.

Кстати думаю можно приписать еще /home, как как это дубль главной страницы (по умолчанию алиас главной).
Кстати был бы благодарен за код для htaccess для редиректа /home.

[regdomain]

Jomsocial

Обнаружил исходящие ссылки индексированные через поиск комьюнити вида http://мойсайт/community/search/browse?sort=latest&filter=mno, судя по всему спам в статусах. Логично закрыть от индексации эту дыру.

Disallow: /community/search/*

правильно написал?

Kunena

Индексируются ссылки в кредите Kunena http://мойсайт/forum/разные темы/credits/

Я всех очень люблю, но родное SEO ближе к телу, нужно закрыть от индексации.

Disallow: /*/credits/*

Так получится?

[ELLE]

Ingener, думаю можно и для 2.5 использовать
--------------------------------------

regdomain, давайте разберем пример из помощи Яндекса

Код

User-agent: Yandex
Allow: /archive
Disallow: /
# разрешает все, что содержит '/archive', остальное запрещено
 
User-agent: Yandex
Allow: /obsolete/private/*.html$ # разрешает HTML файлы 
                        # по пути '/obsolete/private/...'
Disallow: /*.php$  # запрещает все '*.php' на данном сайте
Disallow: /*/private/ # запрещает все подпути содержащие 
                      # '/private/', но Allow выше отменяет 
                      # часть запрета
Disallow: /*/old/*.zip$ # запрещает все '*.zip' файлы, содержащие 
                        # в пути '/old/'
 
User-agent: Yandex
Disallow: /add.php?*user= 
# запрещает все скрипты 'add.php?' с параметром 'user'

отсюда следует, что ваше правило
Disallow: /*/credits/*
запрещает подпути содержащие 'credits', то есть по идее будет закрыт и такой адрес http://мойсайт/forum/разные темы/
я думаю стоит так прописать

Код:

Disallow: /credits$  #  адрес, который содержит 'credits' не будет проиндексирован (в вашем случае http://мойсайт/forum/разные темы/credits/, а вот /credits/example/ проиндексирует
 

в любом случае можно прописать и проверить через ЯВМ
----------------------------
насчет Disallow: /community/search/*, думаю можно еще проще
Disallow: /*search  # любой урл который содержит 'search' не будет проиндексирован

[regdomain]

спасибо за грамотный совет, все исправил и даже чему то науичлся!

[renault]

Правильно ли я понял, что оптимальный robot.txt для стандартного сайта это

Код:

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/

[Ingener]

Оптимальный я написал тремя постами выше, и прибавить /home

[puh10]

puh10, первый вопрос не по темепогуглите "аффилиат фильтр"зайдите и посмотрите - есть там что закрывать?...

Я как понимаю это только для яндекса...

возникла проблемка...
составил робот текс по советам так сказать трудящихся
вот такой:

Код:

User-agent: *
Allow: /index.php?option=com_xmap&sitemap=1&view=xml
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /index.php?*
Disallow: *.pdf$
Disallow: /name.php?action=print
Disallow: /*rss.html
Disallow: /*atom.html
Disallow: /*?sl*
Disallow: /index2.php?option=com_content&task=emailform
Disallow: /trackback

Host: www.------.com
Sitemap: http://www.---------.com/index.php?option=com_xmap&sitemap=1&view=xml

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /index2.php?option=com_content&task=emailform
Disallow: /*?sl*
Disallow: /name.php?action=print
Disallow: /trackback
Disallow: /*rss.html
Disallow: /*atom.html
Crawl-delay: 5[code]

[/code]
и получил от гоогле сообщение в вебадмине
что мол обнаружены тяжелые проблемы - одна из важных страниц заблокирована текст роботом!

в чем может быть проблема?

[ELLE]

puh10, в FAQ есть пример правильного роботса - настоятельно рекомендую туда заглянуть, ибо правило для Яндекса лучше указывать первыми, Host должен вплотную прилегать - без пустых строк.

Гугл ругаться будет если закрыта страница, на которую есть ссылки.
подозреваю, что на это правило -
Disallow: /*?sl*

[puh10]

puh10, в FAQ есть пример правильного роботса - настоятельно рекомендую туда заглянуть, ибо правило для Яндекса лучше указывать первыми, Host должен вплотную прилегать - без пустых строк.

Гугл ругаться будет если закрыта страница, на которую есть ссылки.
подозреваю, что на это правило -
Disallow: /*?sl*

Спасибо за скорый ответ!
меня в первую очередь и тересует гоогле
может мне тогда просто правила для яндекса взять и удалить?

Disallow: /*?sl* - запрет динамических ссылок
тмеет это отношение к SEO ссылкам??

роботс текст составлялся для того чтобы запретиь показ материалов в виде блога по ссылке yourssite.com/index.php?option=com_content&view=category&layout=blog&id=1&Itemid=50&lang=en (мой вопрос выше), именнотак проиндексировались материалы( как блог категории).... и ни одно прямой ссылки в гоогле, по кейвордс ,нет хотя сео включено...

будет ли в таком случае правильным такой роботс:

Код:

User-agent: *
Allow: /index.php?option=com_xmap&sitemap=1&view=xml
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /index.php?*
Disallow: *.pdf$
Disallow: /name.php?action=print
Disallow: /*rss.html
Disallow: /*atom.html
Disallow: /index2.php?option=com_content&task=emailform
Disallow: /trackback

спасибо
P.S.
ах да, роботстекст то я в яндексе проверял перед тем как поставить его... кое что подправил и все было ок...

[ELLE]

карту сайта не забудьте прописать

[puh10]

Disallow: /*?sl* имеет это отношение к SEO ссылкам??

[ELLE]

Disallow: /*?sl* имеет это отношение к SEO ссылкам??

что вы подразумеваете под словом "SEO ссылки" (вообще-то это несколько из другой оперы) - если имеется в виду ЧПУ, то скорее всего не имеет отношения.

[rixter]

Зачем дублировать правила для разных ботов?
Зачем ставить * в конце правила, если Яндекс говорит "По умолчанию к концу каждого правила, описанного в robots.txt, приписывается '*'"?

[puh10]

что вы подразумеваете под словом "SEO ссылки" (вообще-то это несколько из другой оперы) - если имеется в виду ЧПУ, то скорее всего не имеет отношения.

Seo ссылки- да имел в виду ЧПУ))

[ELLE]

Зачем дублировать правила для разных ботов?

если у вас нет в этом необходимости...жестких правил по этому поводу нет.

Зачем ставить * в конце правила, если Яндекс говорит "По умолчанию к концу каждого правила, описанного в robots.txt, приписывается '*'"?

согласна, я не использую. но видимо многие пишут для пущей убедительности)) в любом случае - не вредит.