Ребята...какой-то ахтунг с индексацие дублей - Поисковая оптимизация, продвижение сайтов на Joomla (SEO)

Суть проблемы: в первых числах августа произошел апдет поисковой выдаче. В Вебмастере яндекса - обнаружил что количество проиндексированных страниц возраслов 1000 раз. Индексируются дубли которых оказалась просто НЕМЕРЯНО. Адреса подобные:

http://site.рф/index.html/snegohody/motowezdehod/snegohody/motowezdehod/snegohody/articles/articles/dokumentacija/motobuksirovshhik_volgar_peredneprivodnyj/motobuksirovshhik_volgar_peredneprivodnyj.html

и так далее.

Платон ответил:

По всей видимости, робот где-то в интернете обнаружил ссылки на подобные адреса и поэтому попытался их проиндексировать, а поскольку страницы были доступны и отдавали контент, они были успешно проиндексированы.

Выяснить, откуда именно роботу стали известны те или иные страницы, не представляется возможным, поскольку нашей в базе просто не сохраняются данные об этом. Со своей стороны могу порекомендовать Вам проверить исходный код доступных страниц сайта на предмет наличия подобных ссылок.

Я замечу, что сайт стоит на чистом HTML уже не первый год...подобного не было, сторонние расширения не ставил. В чем проблема?

плагин no doubles ставвить. есть на форуме

Какой плагин? HTML чистый,
Лучше посоветуйте как запретить в роботс к индексации страницы начинающиеся с http://site.рф/index.html/

Что за ерунда, еще три тысячи страниц добавились в индекс...как так-то

У Joomla проблема с дублями, она показывает контент по разным адресам, а вас возможно хотят конкуренты так песимизировать. Ставьте плагин, что выше написали.

У Joomla проблема с дублями

Да он не по адресу. У него не Жумла, а статичные странички на HTML.

ТС, сколько всего страниц на сайте? Настраивайте htaccess так, что бы отдавал только запрашиваемые, на остальные - 404 ошибка, иначе вылетите из поиска. Или переносите все на Joomla, она имеет в своем арсенале расширения, решающие данную проблему.

В robotx.txt прописываете:

Ищите, откуда на эти страницы на вас ссылаются. Проанализируйте входящие ссылки.
Конкуренты, возможно, вас так из выдачи выжимают, ссылки на несуществующие страницы размещая, а после индексации снимая.
Можно вручную страницы и разделы в Я-вебмастере из индекса удалить и роботс, конечно же, подправить.

Какой плагин? HTML чистый,

юморите? как на чистом HTML могут быть такие дубли? кто у вас за роутинг отвечает? .htaccess?

что отдает страница http://site.рф/index.html/snegohody/motowezdehod/snegohody/motowezdehod/snegohody/articles/articles/dokumentacija/motobuksirovshhik_volgar_peredneprivodnyj/motobuksirovshhik_volgar_peredneprivodnyj.html
, какой код? код главной страницы? сайт покажите

В robotx.txt прописываете:

Код

Disallow: /index.html/

что то типа такого, но не спасет полностью. есть же и другие страницы HTML, к ним тоже смогут цеплять хвосты. надо иначе, чтобы универсально для всех страниц, но для начала надо понять, как это возможно на "чистом html"

У Joomla проблема с дублями, она показывает контент по разным адресам, а вас возможно хотят конкуренты так песимизировать. Ставьте плагин, что выше написали.

Много раз слышал об этом, как воспроизвести эти дубли? у меня ни на одном сайте их нет. Имею ввиду в индекс..)

юморите? как на чистом HTML могут быть такие дубли? кто у вас за роутинг отвечает? .htaccess?

это html6..))

Много раз слышал об этом, как воспроизвести эти дубли? у меня ни на одном сайте их нет. Имею ввиду в индекс..)
это html6..))

руками пишите в адресной строке index.php/и дальше что угодно - вот вам и дубли

это html6..))

а, ну да, ну да...

Насколько я вижу, все уже в порядке у ТС. Сайт он пересобрал на Joomla, все уже переиндексировалось и с виду дублей в индексе нет.

загадка осталась без отгадки... ну и ладно

А кстати можно глянуть на чем у него был сайт...)
В кеше уже нет ничего, глянем в вебархиве
 

Короче, на святом духе и честном слове сайт держался....

Да нет) Вроде как на самом деле на html) Может, хостинг сломали или какие иные проблемы на онном) Так-то если все ровно настроено и не было вмешательства извне, то на такие запросы, сервер должен 404 отдавать без лишних телодвижений со стороны вебмастера)

на ум приходит только сервер на голом apache, без nginx, что само по себе странно. или еще более фантастический вариант - nginx настроенный таким образом, чтобы HTML проксировать на апач. что вообще бред ну и плюс все таки должно быть что то, что такой роутинг отработает. версия со взломом очень вероятна... а судя по тому, что это голый HTML, то если версия со взломом подтвердится - то поломали скорее всего не серверную сторону, а утянули например пароль от ftp... а это значит что ломатели могут и вернуться... ТС, я бы наверное поднял бекапы и отдал бы их на анализ, если самостоятельно сомневаетесь. сайт, логи сервера, и т.п.