0 Пользователей и 1 Гость просматривают эту тему.
  • 18 Ответов
  • 1186 Просмотров
*

Adrian1111

  • Захожу иногда
  • 271
  • 1 / 0
Здравствуйте!
Несколько лет все было гуд и тут вдруг Google понаходил дубли.

Вот роботс:

Спойлер
[свернуть]

Google в вебмастерсе ругается на такие вот дубли страниц:

/component/content/?view=featured&start=25
/component/content/?view=featured
/component/content/article/3-mainnews/86-nazvanie-stati.html
/component/content/article/3-news/mainnews/86-nazvanie-stati.html
/component/content/article/9-news/125-nazvanie-stati.html
/shops/30-nazvanie-stati.html
/aboutus/3-mainnews/66-nazvanie-stati.html
/home.html
/aboutus/48-nazvanie-stati.html
/catalogue/9-news/40-nazvanie-stati.html


Они же все закрыты? ведь так?
*

neogeek

  • Захожу иногда
  • 196
  • 21 / 2
*

Adrian1111

  • Захожу иногда
  • 271
  • 1 / 0
не так
а как нужно?

Яндекс вебмастер показывает что все закрыто от индексации кроме последнего дубля -  /catalogue/9-news/40-nazvanie-stati.html
Для Google, я так понимаю, смысла прописывать в роботс нет? Он его игнорирует...слышал об этом, но впервые сталкиваюсь на практике...
*

Gosha5767

  • Захожу иногда
  • 487
  • 27 / 0
В Google есть "Инструмент проверки файла robots.txt"
Вставте все ваши урлы и осуществите проверку, будет ясно закрыты они или нет.
Чистка сайта от дублей в Яндекс и Google.
Миграция Joomla 1.5 до Joomla 3.хх
Доработка сайта
*

Adrian1111

  • Захожу иногда
  • 271
  • 1 / 0
В Google есть "Инструмент проверки файла robots.txt"
Вставте все ваши урлы и осуществите проверку, будет ясно закрыты они или нет.

Google показывает что они все открыты.
Яндекс показывает, что закрыты.

То есть, как я понимаю, правила в роботс прописаны верно. Просто Google их игнорирует.
Ссылок на эти дубли в интернете нет. Как их Google нашел - черт знает. Но это уже другой вопрос.
Сейчас для меня важно понять как с ними справится. Допустим,  на имеющиеся дубли я пропишу 301 редирект. Но это нужно будет делать каждый раз, когда будут появляться новые страницы на сайте, потому-что robots.txt не работает. ПЕчалька...
*

neogeek

  • Захожу иногда
  • 196
  • 21 / 2
*

Gosha5767

  • Захожу иногда
  • 487
  • 27 / 0
Правил для этих URL для запрета нет, Google правильно говорит.
Вот это правило вставте и проверьте, должно закрыть весь каталог
Disallow: /component/*
Чистка сайта от дублей в Яндекс и Google.
Миграция Joomla 1.5 до Joomla 3.хх
Доработка сайта
*

Adrian1111

  • Захожу иногда
  • 271
  • 1 / 0
Disallow: /component/content*

Disallow: /component/*

в обоих случаях проверка роботс показывает, что дубли доступны для робота.
*

Adrian1111

  • Захожу иногда
  • 271
  • 1 / 0
Добавил еще так: Disallow: /component/content/article/9-news/*

все равно доступны страницы
*

Adrian1111

  • Захожу иногда
  • 271
  • 1 / 0
Подумал, может Google показывает что урлы доступны, так как они уже проиндексированы ним.

Проверил только что добавленную страницу на сайт изменив ее URL на то же, который у дублей страниц. Она еще не в индексе и Google про нее не знает. Но все равно показывает, что она доступна.
*

Adrian1111

  • Захожу иногда
  • 271
  • 1 / 0
Нашел причину появления дублей - компонент для комментирования JComments в каждом комментарии ставит символ решетки, в котором как раз ссылки генерятся типа "/component/content/article/9-news/". Оттуда, по ходу, и остальные дубли полезли.
А Google условия в robots.txt по видимому игнорирует из-за того, что на сайте ссылки вот такие на запрещенные страницы стоят.
*

Gosha5767

  • Захожу иногда
  • 487
  • 27 / 0
Вы все по порядку делали?
Вы добавили правило:
Disallow: /component/*
В файл robots.txt, который на хосинге
А затем обновили в Google вебмастере страницу и проверили   "Инструмент проверки файла robots.txt"
вот эти урл:
/component/content/?view=featured&start=25
/component/content/?view=featured
/component/content/article/3-mainnews/86-nazvanie-stati.html
/component/content/article/3-news/mainnews/86-nazvanie-stati.html
/component/content/article/9-news/125-nazvanie-stati.html
И Google выдает: Доступен - такого не может быть.
Чистка сайта от дублей в Яндекс и Google.
Миграция Joomla 1.5 до Joomla 3.хх
Доработка сайта
*

Adrian1111

  • Захожу иногда
  • 271
  • 1 / 0
Вы все по порядку делали?
Вы добавили правило:
Disallow: /component/*
В файл robots.txt, который на хосинге
А затем обновили в Google вебмастере страницу и проверили   "Инструмент проверки файла robots.txt"
вот эти урл:
/component/content/?view=featured&start=25
/component/content/?view=featured
/component/content/article/3-mainnews/86-nazvanie-stati.html
/component/content/article/3-news/mainnews/86-nazvanie-stati.html
/component/content/article/9-news/125-nazvanie-stati.html
И Google выдает: Доступен - такого не может быть.

Да. Я проверил. Google подхватил обновленный роботс.
При проверке пишет, что все урлы доступны.

« Последнее редактирование: 26.08.2015, 17:30:23 от Adrian1111 »
*

Gosha5767

  • Захожу иногда
  • 487
  • 27 / 0
Посмотрел и проверил у себя
Надо слеш у урлов убрать, так как в начале стоит слеш
то есть так надо проверять:
component/content/?view=featured&start=25
component/content/?view=featured
component/content/article/3-mainnews/86-nazvanie-stati.html
component/content/article/3-news/mainnews/86-nazvanie-stati.html
component/content/article/9-news/125-nazvanie-stati.html
Чистка сайта от дублей в Яндекс и Google.
Миграция Joomla 1.5 до Joomla 3.хх
Доработка сайта
*

Adrian1111

  • Захожу иногда
  • 271
  • 1 / 0
*

Gosha5767

  • Захожу иногда
  • 487
  • 27 / 0
У меня все нормально, все URL недоступны.
Можете мой роботс попробуете временно поставить, и проверить
Спойлер
[свернуть]
Чистка сайта от дублей в Яндекс и Google.
Миграция Joomla 1.5 до Joomla 3.хх
Доработка сайта
*

Adrian1111

  • Захожу иногда
  • 271
  • 1 / 0
Бесполезно.
Те же правила у меня в роботсе.
Яндекс с моим прежним роботсом спокойно показывал, что дубли закрыты от индексации.

Это мутки Google.

Я отключил компонент, генерирующий дубли и добавил все дубли-урлы на удаление в гугл-вебмастере. Надеюсь, они не вернутся.
Хотя, для пущей уверенности наверное стоит прописать им 301 редирект.
*

Gosha5767

  • Захожу иногда
  • 487
  • 27 / 0
Уберите из файла роботс:
User-Agent: Googlebot
И все будет как надо.
Чистка сайта от дублей в Яндекс и Google.
Миграция Joomla 1.5 до Joomla 3.хх
Доработка сайта
*

Adrian1111

  • Захожу иногда
  • 271
  • 1 / 0
Уберите из файла роботс:
User-Agent: Googlebot
И все будет как надо.

красава
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться
 

В Google Chrome некорректно работает админка

Автор Dorotar

Ответов: 1
Просмотров: 945
Последний ответ 09.02.2020, 10:49:15
от Dorotar
Дубли mail.site.ru

Автор clareo

Ответов: 3
Просмотров: 1062
Последний ответ 08.09.2018, 04:40:12
от draff
дубли страниц

Автор abonnent

Ответов: 3
Просмотров: 979
Последний ответ 12.10.2017, 14:15:13
от SeBun
Дубли и Яндекс маркет

Автор derenikp

Ответов: 0
Просмотров: 885
Последний ответ 04.01.2017, 19:35:13
от derenikp
Шаблон с черной картой Google

Автор Tetrahedron

Ответов: 2
Просмотров: 997
Последний ответ 17.08.2016, 14:25:40
от effrit