Как запретить индексацию поисковикам? - Поисковая оптимизация, продвижение сайтов на Joomla (SEO)

Добрый день! Помогите с настройкой robots.txt

Установил 404SEF и не сразу до конца настроил. т.е. ссылки отображались в виде site.ru/index.php/категория/товар. а Яндекс успел проиндексировать несколько страниц в таком виде.
На данный момент ссылка отображается в виде site.ru/категория/товар

Все ли я правильно написал для того чтобы не было дублей?

[spoiler title=robots.txt]User-agent: Yandex
Allow: /components/com_virtuemart/shop_image/category
Allow: /components/com_virtuemart/shop_image/product
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /bn/
Disallow: /doc/
Disallow: /jb/
Disallow: /log/
Disallow: /php/
Disallow: /share42/
Disallow: /shop/ask/
Disallow: /index.php?
Disallow: /index.php
Disallow: /index2.php
Disallow: /vmchk
Disallow: /*?keyword=
Disallow: /*?pop=0
Disallow: /*product-search
Disallow: /*?flypage=
Disallow: /*cart
Disallow: /*?
Crawl-delay: 3
Host: www.site.ru

Sitemap: http://www.site.ru/index.php?option=com_xmap&sitemap=1&view=xml

User-agent: *
Allow: /components/com_virtuemart/shop_image/category
Allow: /components/com_virtuemart/shop_image/product
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /bn/
Disallow: /doc/
Disallow: /jb/
Disallow: /log/
Disallow: /php/
Disallow: /share42/
Disallow: /shop/ask/
Disallow: /index.php?
Disallow: /index.php
Disallow: /index2.php
Disallow: /vmchk
Disallow: /*?keyword=
Disallow: /*?pop=0
Disallow: /*product-search
Disallow: /*?flypage=
Disallow: /*cart
Disallow: /*?
[/spoiler]

Проще сделать редирект, раз уже в индексе.

Спасибо за ответ!
я можно сказать начинающий. знать бы еще как это сделать.
Ну а все же тот роботс что прописан выше подойдет?

http://joomlaforum.ru/index.php/topic,193446.0.html

почитай, поможет и код спойлером скрой

Да не надо закрывать лишнее, нужен редирект, а то и фильтры схватить можно

спасибо, почитаю

Да не надо закрывать лишнее, нужен редирект, а то и фильтры схватить можно

Так по ссылкам типа index.php выдает 404 ошибку, я их и хочу закрыть.
Или поисковики их сами со временем удалят из индексации?
И соответственно вопрос что лишнего я закрыл?