0 Пользователей и 1 Гость просматривают эту тему.
  • 13 Ответов
  • 1217 Просмотров
*

bronepoezd27

  • Захожу иногда
  • 233
  • 1 / 1
Всем доброго времени суток!
Имеется сайт:
http://myuborka24.ru
Есть вот такой дубль, непонятно откуда он взялся:
http://myuborka24.ru/component/content/?view=featured

Прописал в .htaccess:
Redirect 301 /component/content/?view=featured http://myuborka24.ru

А ему до лампочки, нет никакой реакции... Кто-нибудь сможет подсказать в чем тут дело? Или какуе-то другую команду 301 редиректа нужно вводить?
*

ELLE

  • Глобальный модератор
  • 4510
  • 893 / 0
Или какуе-то другую команду 301 редиректа нужно вводить?
Читайте FAQ по htaccess, там есть про редирект с параметрами
*

Kostelano

  • Давно я тут
  • 525
  • 51 / 1
Эта страница найдена роботом и она в поиске?

Вообще не нужно париться по поводу дублей, просто нужно все закрыть в robots.txt.

User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /component/ -------------- убираем из индекса дубли
Disallow: /components/
Disallow: /includes/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /*catid -------------- убираем из индекса дубли
Disallow: /*content -------------- убираем из индекса дубли
Disallow: /*search -------------- убираем из индекса страницу с поиском
Disallow: /*uncategorised -------------- убираем из индекса дубли категории материалов "БЕЗ КАТЕГОРИИ"
Disallow: /*user -------------- убираем из индекса страницы авторизации, восстановления паролей и т.д.
Allow: /images/
Allow: /media/*.css$
Allow: /media/*.js$
Allow: /templates/*.css$
Allow: /templates/*.js$
Sitemap: http://тра-та-та-та

=======================

Собственно, я не использую плагины для склейки страниц и т.д. и ничего в индексе нет левого. Главное - правильный robots.txt.
« Последнее редактирование: 12.05.2015, 00:08:01 от Kostelano »
*

bronepoezd27

  • Захожу иногда
  • 233
  • 1 / 1
Эта страница найдена роботом и она в поиске?

Вообще не нужно париться по поводу дублей, просто нужно все закрыть в robots.txt.

User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /component/ -------------- убираем из индекса дубли
Disallow: /components/
Disallow: /includes/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /*catid -------------- убираем из индекса дубли
Disallow: /*content -------------- убираем из индекса дубли
Disallow: /*search -------------- убираем из индекса страницу с поиском
Disallow: /*uncategorised -------------- убираем из индекса дубли категории материалов "БЕЗ КАТЕГОРИИ"
Disallow: /*user -------------- убираем из индекса страницы авторизации, восстановления паролей и т.д.
Allow: /images/
Allow: /media/*.css$
Allow: /media/*.js$
Allow: /templates/*.css$
Allow: /templates/*.js$
Sitemap: http://тра-та-та-та

=======================

Собственно, я не использую плагины для склейки страниц и т.д. и ничего в индексе нет левого. Главное - правильный robots.txt.

Вот мой robots.txt

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/

Есть эти опции и все равно в индексе эта страница есть и она в поиске.
*

bronepoezd27

  • Захожу иногда
  • 233
  • 1 / 1
Читайте FAQ по htaccess, там есть про редирект с параметрами

Нашел кучу всяких параметров 301 редиректа. Добавить "/" убрать его. С домена www на без www и т.д., а про свою ситуацию я чего-то ничего не увидел. Ну только то, что я как раз и использовал...
*

ELLE

  • Глобальный модератор
  • 4510
  • 893 / 0
см 5. Редирект для страниц с параметрами

или в robots.txt добавить:
Disallow: /component
*

bronepoezd27

  • Захожу иногда
  • 233
  • 1 / 1
см 5. Редирект для страниц с параметрами

или в robots.txt добавить:
Disallow: /component

А у меня Disallow: /components стоял, невнимательно посмотрел.
Спасибо сейчас исправлю!
*

bronepoezd27

  • Захожу иногда
  • 233
  • 1 / 1
Вот мой robots.txt

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/

Есть эти опции и все равно в индексе эта страница есть и она в поиске.

Т.е. эту схему можно смело применять на всех сайтах? Ну разумеется если нет ничего экзотического, где специально нужно будет разрешить запрещенные выше категории?
*

Kostelano

  • Давно я тут
  • 525
  • 51 / 1
А у меня Disallow: /components стоял, невнимательно посмотрел.
Спасибо сейчас исправлю!

Исправлять не нужно, еще раз обрати внимание на мой ответ с robots.txt (выше), там есть и /component и /components.

Цитировать
Т.е. эту схему можно смело применять на всех сайтах? Ну разумеется если нет ничего экзотического, где специально нужно будет разрешить запрещенные выше категории?

Да.
*

bronepoezd27

  • Захожу иногда
  • 233
  • 1 / 1
А на сколько орректным является роботс?

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /component/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/

User-agent: Yandex
Allow: /
Sitemap: http://nsservice.ru/index.php?option=com_xmap&view=xml&tmpl=component&id=1

Смущает именно вот этот пункт:
User-agent: Yandex
Allow: /
*

arma

  • Завсегдатай
  • 1753
  • 81 / 3
Он лишний - "User-agent: *" уже включает его
*

bronepoezd27

  • Захожу иногда
  • 233
  • 1 / 1
Он лишний - "User-agent: *" уже включает его

А чтобы у меня индексировались картинки
В секции Disallow если его нет, то обязательно приписывать ниже, как указано в примере от пользователя Kostelano?
Allow: /images/
*

bronepoezd27

  • Захожу иногда
  • 233
  • 1 / 1
И еще, нужно ли 404 страницу исключать из индекса?
*

Kostelano

  • Давно я тут
  • 525
  • 51 / 1
А чтобы у меня индексировались картинки
В секции Disallow если его нет, то обязательно приписывать ниже, как указано в примере от пользователя Kostelano?
Allow: /images/
Не обязательно.

И еще, нужно ли 404 страницу исключать из индекса?
Нужно если есть отдельная страница 404, т.е. ты можешь сам получить к ней доступ набрав адрес к примеру сайт.ру/404.html,
в противном случае не нужно.
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться
 

Редирект для страницы с добавлением кода языка

Автор zeus07

Ответов: 0
Просмотров: 702
Последний ответ 26.06.2023, 11:25:10
от zeus07
Google не индексирует страницы через ajax ссылки

Автор illimited

Ответов: 0
Просмотров: 945
Последний ответ 31.03.2022, 23:53:05
от illimited
Не дело это - закрывать от индексации страницы с пагинацией

Автор ChaosHead

Ответов: 48
Просмотров: 10362
Последний ответ 04.11.2021, 06:44:26
от Slava77
В вебмастере появляются левые страницы

Автор Dmitriy M

Ответов: 1
Просмотров: 397
Последний ответ 22.09.2021, 19:14:32
от Dmitriy M
Скорость загрузки страницы

Автор creative3d

Ответов: 6
Просмотров: 815
Последний ответ 15.03.2020, 19:26:25
от creative3d