0 Пользователей и 1 Гость просматривают эту тему.
  • 1 Ответов
  • 649 Просмотров
*

kik84

  • Завсегдатай
  • 1350
  • 64 / 4
Помощь с robots.txt
« : 13.12.2015, 19:15:50 »
Подскажите как быть...
Есть раздел блога категории с выводом по три анонса. Если в роботс закрыть ?start=, то в Google попадают лишь последние три материала т.к. бот следует правилу - не идти по этим ссылкам в пагинации. Если разрешить, то в индексе по сути дубли ?start=3, ?start=6 и т.д. с одинаковым тайтл и description.
Добавить модуль, например, Похожие материалы, внутри статей - не вариант.
*

voland

  • Легенда
  • 11030
  • 588 / 112
  • Эта строка съедает место на вашем мониторе
Re: Помощь с robots.txt
« Ответ #1 : 13.12.2015, 19:18:38 »
Это не дубли.

Также можно поиграться с мета параметрами - выставить, например follow, noindex
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться
 

Роботу Googlebot заблокирован доступ в файле robots.txt

Автор illimited

Ответов: 3
Просмотров: 1776
Последний ответ 29.05.2022, 14:57:55
от web1
Правильный robots.txt? [вопросы/обсуждение]

Автор wishlight

Ответов: 447
Просмотров: 200896
Последний ответ 20.11.2021, 16:53:49
от Byzi
Как лучше прописать robots.txt?

Автор web1

Ответов: 2
Просмотров: 649
Последний ответ 25.07.2021, 21:38:12
от web1
Разные robots.txt

Автор yyyuuu

Ответов: 7
Просмотров: 665
Последний ответ 14.01.2021, 14:06:58
от rsn
Языки /en/ /ru/ проблема с входом в админку и редиректит на site.r/ru/robots.txt

Автор HolySong

Ответов: 0
Просмотров: 670
Последний ответ 10.07.2020, 13:12:46
от HolySong