Индексация sitemap - Карта сайта

Здравствуйте, форумчане.
Поделитесь примером правильного написания файла robot.txt, в котором разрешена индексация только ссылок из файла sitemap сгенерированного Xmap'ом.
Очень много лишнего захватывает бот яндекса. И в результате в индекс попадают не те страницы, которые нужно.
Вообще правильно ли это решение?
Заранее спасибо.
Если тема уже была, дайте ссылку пожалуйста.

тоже интересуюсь и было весьма интересно почитать на эту тему

Мне тоже интерессно.

Я конечно не гуру. Но моё мнение, что для данной задачи файл должен выглядеть так:



и все)) если есть еще мысли по этому поводу, пишите...

Запретить все. Разрешить только карту сайта опубликованную на самом сайте, не xml.

User-agent: *
Sitemap: http://penaltent.ru/index.php?option=com_xmap&sitemap=1&view=xml
Host: http://penaltent.ru/
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
........

Вот прописал в robots.txt  меня интересует эти строки

Sitemap: http://penaltent.ru/index.php?option=com_xmap&sitemap=1&view=xml
Host: http://penaltent.ru/

то есть я разрешил зеркалу открываться и сайтемап? Если не пропишу эти две строчки измениться что то в индексации или нет
ССылку на Sitemap поисковикам дал на сьедение .

Здравствуйте, форумчане.
Поделитесь примером правильного написания файла robot.txt, в котором разрешена индексация только ссылок из файла sitemap сгенерированного Xmap'ом.
Очень много лишнего захватывает бот яндекса. И в результате в индекс попадают не те страницы, которые нужно.
Вообще правильно ли это решение?
Заранее спасибо.
Если тема уже была, дайте ссылку пожалуйста.

Как-то тоже мучал этот вопрос, но путем МНОГИХ ошибок пришел к такому результату:
User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Allow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /index2.php?page=shop
Disallow: /index2.php
Allow: /components/com_xmap/
Allow: /index.php?option=com_xmap&sitemap=1&view=xml
Allow: /sitemap/xml.html
Disallow: /component/
Sitemap: http://my-site.com/sitemap/xml.html
Host: my-site.com

Joomla 1.5.18 + VM 1.1.4 + sh404SEF 1.5.12.464 + Xmap 1.2.8

Работет на интернет-магазине. Количество ссылок 1210.
В панель Яндекса закинул XML карту.
Ссылку на XML карту скопировал в xMap'e

До этого варианта было в поиске и страницы запросов, и страницы для печати, и еще куча всего ненужного. Все удалял, и переделывал.
ВАЖНО: Disallow: /index2.php?page=shop -------------- вариант не помог, чтобы в индекс не попали страницы для печати, помогла связка:
Disallow: /index2.php?page=shop
Disallow: /index2.php

Да тоже накололся с robots.txt..Как увидел что Яндекс тысячи страниц отметает..глянул..а вместо нормальных страниц просто ППЦ!

Исправил как здесь: http://enborisov.ya.ru/replies.xml?item_no=1032

Здравствуйте, форумчане.
Поделитесь примером правильного написания файла robot.txt, в котором разрешена индексация только ссылок из файла sitemap сгенерированного Xmap'ом.
Очень много лишнего захватывает бот яндекса. И в результате в индекс попадают не те страницы, которые нужно.
Вообще правильно ли это решение?
Заранее спасибо.
Если тема уже была, дайте ссылку пожалуйста.

Для начала надо было сформулировать не что разрешить роботу а что запретить - так проще
Для бота яндекса нужно писать отдельно он нормальных "как все " слов не понимает , главное запретить папки не нужные в индексе, типо того:
User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Host: ваш сайт.ru

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/

Sitemap: http://ваш сайт.ru/sitemap.xml

Дальше додумывайте. Но хост и отдельная графа для яндекса важна , он или блатной или тупой , это пока не известно..
Ну а насчет директории мапы тут уж всё зависит сами писали sitemap или генерировали компонентом. И насчет папки Images если надо запретить то добавить надо Disallow: /images/
Ну а если пойдете трудным путём- что боту разрешить , если уж заморачиваться зайдите в инструменты веб-мастера яндекса и в факе почитайте о дерективах.
надеюсь помог.

Вот прописал в robots.txt  меня интересует эти строки то есть я разрешил зеркалу открываться и сайтемап? Если не пропишу эти две строчки измениться что то в индексации или нет
ССылку на Sitemap поисковикам дал на сьедение .

Как утверждают поисковики в индекс попадают все сайты находящиеся в сети , даже без карты сайта, скармливая sitemap вы просто ускоряете процесс индексации, и не факт что завтра поисковик не найдет дубли ваших материалов на другом сайте и не сочтет что ваш сайт бяка и не выкинет вас с индекса. Хост для яндекса пишите без http и без слеша , повторюсь он туповат, а так вся надежда на ваш УНИКальный контент. Особенно прикольно смотреть как с индекса именно яндекса вылетают то индексируються по 100 страниц за день..На форуме куча тем про это особенно познакомтесь с разделом оптимизация.

Запретить все. Разрешить только карту сайта опубликованную на самом сайте, не XML.

Это рабочий способ или  теория , подскажите живой пример кто-нибудь ?Не возникнут ли какие подводные камни? Кажется просто , чтоб быть правдой,к тому же можно добавлять затем исключения директивой  ALLOW .А в интернете запутаешься в информации относительно избавления от дублей - этот теоретически наиболее приемлемый и доступный. Спасибо  .Жду ваших соображений.

На данный момент карта: смущает , как бы  Disallow: /components/ не запретил индексировать карту Xmap ( это же компонент)
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Sitemap: http://www.site.ru/index.php?option=com_xmap&sitemap=1&view=xml