Правильный robots.txt? [вопросы/обсуждение] - страница 7 - Поисковая оптимизация, продвижение сайтов на Joomla (SEO)

Здравствуйте!
Google мастер выдает сообщение Доступ к URL заблокирован в файле robots.txt. Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.
вот мой robots.txt ЧТО В НЕМ не ТАК?

Disallow: /*print=*  
Disallow: /go.php
Disallow: /component/search/?
Disallow: /components/search/?

почему?
А если прописать в  файле .htaccess корневого каталога. После строки RewriteEngine On добавляем:

 RewriteCond %{REQUEST_URI} ^/sitemap.xml

 RewriteRule .* /index.php?option=com_xmap&sitemap=1&view=xml

/go.php - у вас присутствует?

Disallow: /component/search/ - он уже закрыт. (Disallow: /component/) и Disallow: /?

Все исправила, но Google мастер говорит, что карта сайта заблокирована в robots.txt, неужели никто не сталкивался с такой проблемой?

Подскажите, использую на своем ресурсе SIG галерею, во всех материалах изображения вставляю через неё. Дак вот если скопировать ссылку на изображение из статей, адрес показывает такой http://mysite/cache/preview/*8953bb008cdc0bdf02bf3e152ee5f.jpg, в связи с этим вопрос - Нужно ли в robots.txt открывать папку кеш для поисковиков ? Чтоб фотки индексировались ?

или сделать

Код

Allow: /index.php?option=com_xmap&sitemap=1&view=xml 

Sitemap: http://www.site.ru/index.php?option=com_xmap&sitemap=1&view=xml

Необходимо просто поставить Rewrite на карту сайта, чтобы она была в формате http://www.site.ru/sitemap.xml

Вот это будет верно?

RewriteCond %{REQUEST_URI} ^/sitemap.xml

RewriteRule .* /index.php?option=com_xmap&sitemap=1&view=xml

Да, я так делал в .htaccess, потом вставлял новую ссылку Sitemap: http://mysite.ru/sitemap.xml в роботс и кормил ею поисковиков, всем понравилось)

посоветуйте как разрешить индексацию http://site/blog/
и запретить:
http://site/blog/article01
http://site/blog/article02
...
http://site/blog/article0N

В кеше картинки просматриваемых материалов будут сохранятся на некоторое время, на то он и кеш. Открывать не нужно - они будут индексироваться из своей основной директории /image/ в папке галереи, или где там у вас (не пользовался СИГ) если конечно же эта папка не закрыта в роботсе.

Друзья возможно вы мне поможете суть проблемы такова:

Есть сайт bezlimi.com , но у него разное число страниц, что в Google, что в яндексе.

По гуглу: site:bezlimi.com - 305 страниц
По яндексу: site:bezlimi.com - 110 страниц

Всего должно выходить 86 страниц( из которых 3 ноиндекс, ноуфоллов и 2 непроидексированны)

Как найти эти дубли, если в поисковике их не видно(пролистайте по станицам с 1 по последнюю). Что это за 214 страниц которые видет Google, и 24 которые видит Яндекс?и как из закрыть?
Спасибо

Как правильно открыть для индексации страницы вида: домен/категория?start=5
Allow: /?start правильный вариант?

Думаю если вы их не закрывали (например так " Disallow: /*?  " или другим способом) то и открывать нет смысла, так как они и так открыты, просто пока у ПС не дошли руки или они не соответствуют требованиям ПС.

Главное - чтобы эти страницы были в карте сайта, тогда ПС сами подскажут если в их индексации есть проблема.

Да, Allow: /?start было ошибкой.
Google набрал лишних страниц

Подскажите, чтобы убрать страницы типа домен/index.php?option=com_komento&lang...  которые ведут почему-то на главную, достаточно ли прописать Disallow: /com_komento

Оцените пожалуйста, всё окей ли?

Спойлер

[свернуть]