Ребята...какой-то ахтунг с индексацие дублей

  • 17 Ответов
  • 553 Просмотров

0 Пользователей и 1 Гость просматривают эту тему.

Суть проблемы: в первых числах августа произошел апдет поисковой выдаче. В Вебмастере яндекса - обнаружил что количество проиндексированных страниц возраслов 1000 раз. Индексируются дубли которых оказалась просто НЕМЕРЯНО. Адреса подобные:

http://site.рф/index.html/snegohody/motowezdehod/snegohody/motowezdehod/snegohody/articles/articles/dokumentacija/motobuksirovshhik_volgar_peredneprivodnyj/motobuksirovshhik_volgar_peredneprivodnyj.html

и так далее.

Платон ответил:

По всей видимости, робот где-то в интернете обнаружил ссылки на подобные адреса и поэтому попытался их проиндексировать, а поскольку страницы были доступны и отдавали контент, они были успешно проиндексированы.

Выяснить, откуда именно роботу стали известны те или иные страницы, не представляется возможным, поскольку нашей в базе просто не сохраняются данные об этом. Со своей стороны могу порекомендовать Вам проверить исходный код доступных страниц сайта на предмет наличия подобных ссылок.

Я замечу, что сайт стоит на чистом HTML уже не первый год...подобного не было, сторонние расширения не ставил. В чем проблема?




Какой плагин? HTML чистый,
Лучше посоветуйте как запретить в роботс к индексации страницы начинающиеся с http://site.рф/index.html/

Что за ерунда, еще три тысячи страниц добавились в индекс...как так-то

*

ChaosHead

У Joomla проблема с дублями, она показывает контент по разным адресам, а вас возможно хотят конкуренты так песимизировать. Ставьте плагин, что выше написали.

*

SeBun

У Joomla проблема с дублями
Да он не по адресу. У него не Жумла, а статичные странички на HTML.

ТС, сколько всего страниц на сайте? Настраивайте htaccess так, что бы отдавал только запрашиваемые, на остальные - 404 ошибка, иначе вылетите из поиска. Или переносите все на Joomla, она имеет в своем арсенале расширения, решающие данную проблему.
Оказываю услуги по Joomla | Миграция на Joomla 3.x | Администрирование
Ник занят | По личным вопросам не консультирую

В robotx.txt прописываете:

Код
Disallow: /index.html/
Ставь лайк, если согласен, и делай репост!

  => мои публикации
    => мои работы
      => спектр моих услуг

*

annushka

Ищите, откуда на эти страницы на вас ссылаются. Проанализируйте входящие ссылки.
Конкуренты, возможно, вас так из выдачи выжимают, ссылки на несуществующие страницы размещая, а после индексации снимая.
Можно вручную страницы и разделы в Я-вебмастере из индекса удалить и роботс, конечно же, подправить.

*

dmitry_stas

Какой плагин? HTML чистый,
юморите? :) как на чистом HTML могут быть такие дубли? :) кто у вас за роутинг отвечает? .htaccess?

что отдает страница http://site.рф/index.html/snegohody/motowezdehod/snegohody/motowezdehod/snegohody/articles/articles/dokumentacija/motobuksirovshhik_volgar_peredneprivodnyj/motobuksirovshhik_volgar_peredneprivodnyj.html
, какой код? код главной страницы? сайт покажите
Тут дарят бакс просто за регистрацию! Успей получить!
Все советы на форуме раздаю бесплатно, то есть даром. Индивидуально бесплатно консультирую только по вопросам стоимости индивидуальных консультаций

*

dmitry_stas

В robotx.txt прописываете:

Код
Disallow: /index.html/
что то типа такого, но не спасет полностью. есть же и другие страницы HTML, к ним тоже смогут цеплять хвосты. надо иначе, чтобы универсально для всех страниц, но для начала надо понять, как это возможно на "чистом html" :)
« Последнее редактирование: 16.10.2016, 00:30:28 от dmitry_stas »
Тут дарят бакс просто за регистрацию! Успей получить!
Все советы на форуме раздаю бесплатно, то есть даром. Индивидуально бесплатно консультирую только по вопросам стоимости индивидуальных консультаций

*

shurakana

У Joomla проблема с дублями, она показывает контент по разным адресам, а вас возможно хотят конкуренты так песимизировать. Ставьте плагин, что выше написали.
Много раз слышал об этом, как воспроизвести эти дубли? у меня ни на одном сайте их нет. Имею ввиду в индекс..)

юморите? :) как на чистом HTML могут быть такие дубли? :) кто у вас за роутинг отвечает? .htaccess?
это html6..))
Эта подпись отображается внизу каждого Моего сообщения. Я также могу использовать BB код и смайлы.

*

dmitry_stas

Много раз слышал об этом, как воспроизвести эти дубли? у меня ни на одном сайте их нет. Имею ввиду в индекс..)
это html6..))
руками пишите в адресной строке index.php/и дальше что угодно - вот вам и дубли

это html6..))
а, ну да, ну да...
Тут дарят бакс просто за регистрацию! Успей получить!
Все советы на форуме раздаю бесплатно, то есть даром. Индивидуально бесплатно консультирую только по вопросам стоимости индивидуальных консультаций

*

ELLE

Насколько я вижу, все уже в порядке у ТС. Сайт он пересобрал на Joomla, все уже переиндексировалось и с виду дублей в индексе нет.

*

dmitry_stas

загадка осталась без отгадки... ну и ладно :)
Тут дарят бакс просто за регистрацию! Успей получить!
Все советы на форуме раздаю бесплатно, то есть даром. Индивидуально бесплатно консультирую только по вопросам стоимости индивидуальных консультаций

*

ELLE

А кстати можно глянуть на чем у него был сайт...)
Спойлер
[свернуть]
В кеше уже нет ничего, глянем в вебархиве
 

*

SeBun

Короче, на святом духе и честном слове сайт держался....
Оказываю услуги по Joomla | Миграция на Joomla 3.x | Администрирование
Ник занят | По личным вопросам не консультирую

*

ELLE

Да нет) Вроде как на самом деле на html) Может, хостинг сломали или какие иные проблемы на онном) Так-то если все ровно настроено и не было вмешательства извне, то на такие запросы, сервер должен 404 отдавать без лишних телодвижений со стороны вебмастера)

*

dmitry_stas

на ум приходит только сервер на голом apache, без nginx, что само по себе странно. или еще более фантастический вариант - nginx настроенный таким образом, чтобы HTML проксировать на апач. что вообще бред :) ну и плюс все таки должно быть что то, что такой роутинг отработает. версия со взломом очень вероятна... а судя по тому, что это голый HTML, то если версия со взломом подтвердится - то поломали скорее всего не серверную сторону, а утянули например пароль от ftp... а это значит что ломатели могут и вернуться... ТС, я бы наверное поднял бекапы и отдал бы их на анализ, если самостоятельно сомневаетесь. сайт, логи сервера, и т.п.
« Последнее редактирование: 16.10.2016, 02:47:46 от dmitry_stas »
Тут дарят бакс просто за регистрацию! Успей получить!
Все советы на форуме раздаю бесплатно, то есть даром. Индивидуально бесплатно консультирую только по вопросам стоимости индивидуальных консультаций