Привет, прошу помощи знающих людей.
Предыстория.
1. Был изначально форум на SMF стоял в site/forum.ru были ЧПУ, страницы в индексе. Далее перенес форум в основную папку. Убрал ЧПУ. страницы опять в индексе.
2. Решил поставить Joomla 2.5 в корень сайта ru. Поставил K2, и установил sh404SEF. Далее опять перенес форум обратно в подпапку и установил ЧПУ.
Из за всех этих манипуляций образовалось много дублей.
На главную страницу заходит:
http://yursodeistvie.ruhttp://yursodeistvie.ru/?topic=69.0http://yursodeistvie.ru/?board=51.0 и т.д., т.е ссылки от форума, когда он был в корне.
Попытался запретить к индексации в robots.txt добавил Disallow: /*?* , т.е все не ЧПУ ссылки
Сегодня решил удалить страницы из индекса вручную в яндексе - ввожу эту страницу
http://yursodeistvie.ru/?topic=69.0, а Яндекс пишет "Нет оснований для удаления. Сервер не возвращает код 404, индексирование не запрещено ни в robots.txt, ни метатегом noindex."
Кто знает как убрать дубли страниц?, либо просто ждать надо и он сам уберет при следующих обновлениях, но ведь он заходит на главную под разными адресами.
мой роботс
User-agent: *
Disallow: /forum/attachments/
Disallow: /forum/avatars/
Disallow: /forum/Packages/
Disallow: /forum/Smileys/
Disallow: /forum/Sources/
Disallow: /forum/Themes/
Disallow: /forum/*.msg
Disallow: /forum/*.new
Disallow: /forum/*sort
Disallow: /forum/*topicseen
Disallow: /forum/*wap
Disallow: /forum/*imode
Disallow: /forum/*action
Disallow: /forum/*prev_next
Disallow: /forum/*all
Disallow: /forum/*go.php
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /i/
Disallow: /*rss.html
Disallow: /*atom.html
Disallow: /*?*
User-agent: Yandex
Host: yursodeistvie.ru
Sitemap: http://yursodeistvie.ru/xml/1.html?view=xml
На всякий случай .htaccess форума
# PRETTYURLS MOD BEGINS
# Pretty URLs mod
# http://code.google.com/p/prettyurls/
# .htaccess file generated automatically on: April 26, 2012, 19:30
RewriteEngine on
RewriteBase /forum
# Rules for: actions
RewriteRule ^(activate|admin|announce|attachapprove|buddy|calendar|clock|collapse)/?$ ./index.php?pretty;action=$1 [L,QSA]
RewriteRule ^(coppa|credits|deletemsg|display|dlattach|dlpmattach|editpoll|editpoll2)/?$ ./index.php?pretty;action=$1 [L,QSA]
RewriteRule ^(emailuser|findmember|groups|help|helpadmin|im|jseditor|jsmodify)/?$ ./index.php?pretty;action=$1 [L,QSA]
RewriteRule ^(jsoption|lock|lockvoting|login|login2|logout|markasread|mergetopics)/?$ ./index.php?pretty;action=$1 [L,QSA]
RewriteRule ^(mlist|moderate|modifycat|modifykarma|viewkarma|ownkarma|otherkarma|karmamessage)/?$ ./index.php?pretty;action=$1 [L,QSA]
RewriteRule ^(movetopic|movetopic2|notify|notifyboard|openidreturn|pm|post|post2)/?$ ./index.php?pretty;action=$1 [L,QSA]
RewriteRule ^(printpage|profile|quotefast|quickmod|quickmod2|recent|register|register2)/?$ ./index.php?pretty;action=$1 [L,QSA]
RewriteRule ^(reminder|removepoll|removetopic2|reporttm|requestmembers|restoretopic|search|search2)/?$ ./index.php?pretty;action=$1 [L,QSA]
RewriteRule ^(sendtopic|sitemap|smstats|suggest|spellcheck|splittopics|stats|sticky)/?$ ./index.php?pretty;action=$1 [L,QSA]
RewriteRule ^(theme|trackip|about:mozilla|about:unknown|unread|unreadreplies|verificationcode|viewprofile)/?$ ./index.php?pretty;action=$1 [L,QSA]
RewriteRule ^(vote|viewquery|viewsmfile|who|\.xml|xmlhttp)/?$ ./index.php?pretty;action=$1 [L,QSA]
# Rules for: boards
RewriteRule ^([-_!~*'()$a-zA-Z0-9]+)/?$ ./index.php?pretty;board=$1.0 [L,QSA]
RewriteRule ^([-_!~*'()$a-zA-Z0-9]+)/([0-9]*)/?$ ./index.php?pretty;board=$1.$2 [L,QSA]
# Rules for: topics
RewriteRule ^([-_!~*'()$a-zA-Z0-9]+)/([-_!~*'()$a-zA-Z0-9]+)/?$ ./index.php?pretty;board=$1;topic=$2.0 [L,QSA]
RewriteRule ^([-_!~*'()$a-zA-Z0-9]+)/([-_!~*'()$a-zA-Z0-9]+)/([0-9]*|msg[0-9]*|new)/?$ ./index.php?pretty;board=$1;topic=$2.$3 [L,QSA]
# PRETTYURLS MOD ENDS