Дубль страницы - не убирается 301 редиректом

0 Пользователей и 1 Гость просматривают эту тему.
  • 13 Ответов
  • 714 Просмотров
*

bronepoezd27

  • Давно я тут
  • ****
  • 236
  • 0
Всем доброго времени суток!
Имеется сайт:
http://myuborka24.ru
Есть вот такой дубль, непонятно откуда он взялся:
http://myuborka24.ru/component/content/?view=featured

Прописал в .htaccess:
Redirect 301 /component/content/?view=featured http://myuborka24.ru

А ему до лампочки, нет никакой реакции... Кто-нибудь сможет подсказать в чем тут дело? Или какуе-то другую команду 301 редиректа нужно вводить?

*

ELLE

  • Support Team
  • *****
  • 4582
  • 867
Или какуе-то другую команду 301 редиректа нужно вводить?
Читайте FAQ по htaccess, там есть про редирект с параметрами

*

Kostelano

  • Давно я тут
  • ****
  • 345
  • 27
  • Константин
Эта страница найдена роботом и она в поиске?

Вообще не нужно париться по поводу дублей, просто нужно все закрыть в robots.txt.

User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /component/ -------------- убираем из индекса дубли
Disallow: /components/
Disallow: /includes/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /*catid -------------- убираем из индекса дубли
Disallow: /*content -------------- убираем из индекса дубли
Disallow: /*search -------------- убираем из индекса страницу с поиском
Disallow: /*uncategorised -------------- убираем из индекса дубли категории материалов "БЕЗ КАТЕГОРИИ"
Disallow: /*user -------------- убираем из индекса страницы авторизации, восстановления паролей и т.д.
Allow: /images/
Allow: /media/*.css$
Allow: /media/*.js$
Allow: /templates/*.css$
Allow: /templates/*.js$
Sitemap: http://тра-та-та-та

=======================

Собственно, я не использую плагины для склейки страниц и т.д. и ничего в индексе нет левого. Главное - правильный robots.txt.
« Последнее редактирование: 12.05.2015, 02:08:01 от Kostelano »

*

bronepoezd27

  • Давно я тут
  • ****
  • 236
  • 0
Эта страница найдена роботом и она в поиске?

Вообще не нужно париться по поводу дублей, просто нужно все закрыть в robots.txt.

User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /component/ -------------- убираем из индекса дубли
Disallow: /components/
Disallow: /includes/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /*catid -------------- убираем из индекса дубли
Disallow: /*content -------------- убираем из индекса дубли
Disallow: /*search -------------- убираем из индекса страницу с поиском
Disallow: /*uncategorised -------------- убираем из индекса дубли категории материалов "БЕЗ КАТЕГОРИИ"
Disallow: /*user -------------- убираем из индекса страницы авторизации, восстановления паролей и т.д.
Allow: /images/
Allow: /media/*.css$
Allow: /media/*.js$
Allow: /templates/*.css$
Allow: /templates/*.js$
Sitemap: http://тра-та-та-та

=======================

Собственно, я не использую плагины для склейки страниц и т.д. и ничего в индексе нет левого. Главное - правильный robots.txt.

Вот мой robots.txt

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/

Есть эти опции и все равно в индексе эта страница есть и она в поиске.

*

bronepoezd27

  • Давно я тут
  • ****
  • 236
  • 0
Читайте FAQ по htaccess, там есть про редирект с параметрами

Нашел кучу всяких параметров 301 редиректа. Добавить "/" убрать его. С домена www на без www и т.д., а про свою ситуацию я чего-то ничего не увидел. Ну только то, что я как раз и использовал...

*

ELLE

  • Support Team
  • *****
  • 4582
  • 867
см 5. Редирект для страниц с параметрами

или в robots.txt добавить:
Disallow: /component

*

bronepoezd27

  • Давно я тут
  • ****
  • 236
  • 0
см 5. Редирект для страниц с параметрами

или в robots.txt добавить:
Disallow: /component

А у меня Disallow: /components стоял, невнимательно посмотрел.
Спасибо сейчас исправлю!

*

bronepoezd27

  • Давно я тут
  • ****
  • 236
  • 0
Вот мой robots.txt

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/

Есть эти опции и все равно в индексе эта страница есть и она в поиске.

Т.е. эту схему можно смело применять на всех сайтах? Ну разумеется если нет ничего экзотического, где специально нужно будет разрешить запрещенные выше категории?

*

Kostelano

  • Давно я тут
  • ****
  • 345
  • 27
  • Константин
А у меня Disallow: /components стоял, невнимательно посмотрел.
Спасибо сейчас исправлю!

Исправлять не нужно, еще раз обрати внимание на мой ответ с robots.txt (выше), там есть и /component и /components.

Цитировать
Т.е. эту схему можно смело применять на всех сайтах? Ну разумеется если нет ничего экзотического, где специально нужно будет разрешить запрещенные выше категории?

Да.

*

bronepoezd27

  • Давно я тут
  • ****
  • 236
  • 0
А на сколько орректным является роботс?

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /component/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/

User-agent: Yandex
Allow: /
Sitemap: http://nsservice.ru/index.php?option=com_xmap&view=xml&tmpl=component&id=1

Смущает именно вот этот пункт:
User-agent: Yandex
Allow: /

*

arma

  • Живу я здесь
  • ******
  • 1318
  • 63
Он лишний - "User-agent: *" уже включает его

*

bronepoezd27

  • Давно я тут
  • ****
  • 236
  • 0
Он лишний - "User-agent: *" уже включает его

А чтобы у меня индексировались картинки
В секции Disallow если его нет, то обязательно приписывать ниже, как указано в примере от пользователя Kostelano?
Allow: /images/

*

bronepoezd27

  • Давно я тут
  • ****
  • 236
  • 0
И еще, нужно ли 404 страницу исключать из индекса?

*

Kostelano

  • Давно я тут
  • ****
  • 345
  • 27
  • Константин
А чтобы у меня индексировались картинки
В секции Disallow если его нет, то обязательно приписывать ниже, как указано в примере от пользователя Kostelano?
Allow: /images/
Не обязательно.

И еще, нужно ли 404 страницу исключать из индекса?
Нужно если есть отдельная страница 404, т.е. ты можешь сам получить к ней доступ набрав адрес к примеру сайт.ру/404.html,
в противном случае не нужно.