Столкнулся вот с какой проблемой!
Решил написать правильный робот т.к. че-то меня стремает мой!))
User-agent: *
Disallow: /components/
Disallow: /images/
Disallow: /modules/
Disallow: /administrator/
Allow: /
Disallow: /cache/
Disallow: /language/
Disallow: /help/
Disallow: /includes/
Disallow: /installation/
Disallow: /mambots/
Disallow: /media/
Disallow: /templates/
Disallow: /editor/
Я попытался почитать на форуме как правильно все-же его написать, но столкнулся с проблемой - "сколько людей столько и мнений"! Образовалось миллион вопросов.
И все таки: 1) С чего надо начать чтоб его правильно написать для интернет-магазина?
2) Как быть с сылками типа http://SITE.RU
http://SITE.RU/index.php
http://SITE.RU/index.php?option=com_frontpage&Itemid=53 которые ведут на одну и туже страницу?
3) Что делать с облаком тэгов? Как его правильно скрывать? И нужно ли вообще?
TY! Возможно, что-то криво написал! Срач не устраивать!)))
