Правильный robots.txt? [вопросы/обсуждение] - страница 9 - Поисковая оптимизация, продвижение сайтов на Joomla (SEO)

/components/ - проверьте путь ваших товаров (на сайте) и картинок ... картинки точно там лежат.

/public_html/components/com_jshopping/files/img_products

А у вас еще не индексируется папка /images/

В каком смысле "проверить"? "Проверил", все ссылки в порядке.
Картинки товаров лежат в

Код

/public_html/components/com_jshopping/files/img_products

Код

А у вас еще не индексируется папка /images/

Следует открыть доступ к этим папкам?

Проверить путь - Ссылка на товар содержит /components ?

http://asb-tehno.ru/videonabludenie/videoregistratori/8-kanalnie-videoregistratori/fe-008h

пустые строчки нельзя допускать

Спойлер

[свернуть]

Allow: тут спорный момент .... файл robots.txt делается для запрета. Тоесть он должен только запрещать, а не разрешать.

Allow - по идее такая конструкция - ошибочна. Поэтому вам, возможно надо стереть Disallow: /components/ и потом запретить каждый компонент по-отдельности, кроме джумшоппинга.
А что конкретно Google пишет?

Allow directive

Some major crawlers support an Allow directive which can counteract a following Disallow directive.[18] [19] This is useful when one tells robots to avoid an entire directory but still wants some HTML documents in that directory crawled and indexed. While by standard implementation the first matching robots.txt pattern always wins, Google's implementation differs in that Allow patterns with equal or more characters in the directive path win over a matching Disallow pattern.[20] Bing uses the Allow or Disallow directive which is the most specific.[9]

In order to be compatible to all robots, if one wants to allow single files inside an otherwise disallowed directory, it is necessary to place the Allow directive(s) first, followed by the Disallow, for example:

Allow: /directory1/myfile.html
Disallow: /directory1/

This example will Disallow anything in /directory1/ except /directory1/myfile.html, since the latter will match first. The order is only important to robots that follow the standard; in the case of the Google or Bing bots, the order is not important.

The order is only important to robots that follow the standard; in the case of the Google or Bing bots, the order is not important.

User-agent: Yandex
Allow: /components/com_jshopping/files/img_products/
Allow: /components/com_jshopping/files/img_categories/ 
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /cli/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /*mailto*
Disallow: /*start*
Disallow: /*print*
Disallow: /*feed*
Disallow: /*search*
Disallow: /*users*

Host: asb-tehno.ru
Sitemap: http://asb-tehno.ru/index.php?option=com_xmap&view=xml&tmpl=component&id=6

User-agent: *
Allow: /components/com_jshopping/files/img_products/
Allow: /components/com_jshopping/files/img_categories/ 
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /cli/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /*mailto*
Disallow: /*start*
Disallow: /*print*
Disallow: /*feed*
Disallow: /*search*
Disallow: /*users*
Disallow: /cart*

ни Google, ни Яндекс карту не принимают...

че говорят-то? в яндексе есть проверка корректности карты сайта, - воспользуйтесь
+ http://help.yandex.ru/webmaster/indexing-options/sitemap.xml#reqs

а он загрузил новый robots ?
может у него старый там пока, инфа не обновилась, вот и висит предупреждение

в Robots.txt указала
Allow: /index.php?option=com_xmap&view=xml&id=1
Disallow: /index.php

Яндекс выдаёт ошибку
   
19-33   
User-agent: Yandex
Disallow: /administrator/
...
Allow: /images/
51-51   
Host: www.mamin-sekret.ru
53-53   
Sitemap: http://mamin-sekret.ru/index.php/site-map.xml