Можно ли ненужные страницы перенаправить на ошибку 404?

  • 6 Ответов
  • 945 Просмотров

0 Пользователей и 1 Гость просматривают эту тему.

*

Оффлайн gaploger

Всем привет! Вопрос такой: на сайте много страниц с дублями, я их в robots.txt запретил к индексации к примеру пунктом Disallow: */katalog/. Яндекс их не индексирует, а вот Google индексирует, просто добавляет в выдаче к ним строку "Описание веб-страницы недоступно из-за ограничений в файле robots.txt. " Я хотел узнать можно их убрать из индекса Google к примеру если перенаправить на страницу ошибки 404, он ведь их тогда удалит со временем. Если да, то какой код написать в htacess, или есть другой более оптимальный способ?

*

Оффлайн ELLE

если перенаправить на страницу ошибки 404
если перенаправить, то это будет только для вас 404, а для Google это будет ответ 301
Кроме того, чтобы Google выкинул страницы из индекса, в robots надо ему разрешить заходить на эти страницы, а дальше можно сделать или так - http://joomlaforum.ru/index.php/topic,193446.msg1186257.html#msg1186257
или через htaccess - склеить дубли с реальными страницами

*

Оффлайн gaploger

Сделал вот так, типа удалил документ через htaccess:

RewriteCond %{THE_REQUEST} ^.*/ajax_attrib_select_and_price/(.*)$
RewriteRule .* - [G]

При переходе выдает:

Gone
The requested resource
/katalog/product/ajax_attrib_select_and_price/21.html
is no longer available on this server and there is no forwarding address. Please remove all references to this resource.

Как думаете Google удалит их из индекса, и надо ли что бы это произошло, открывать эти страницы в роботсе?

*

Оффлайн ELLE

Да удалит, только атрибуты у вас не будут работать (если они когда-нибудь понадобятся)

*

Оффлайн gaploger

Про атрибуты я как то не подумал, спасибо, если вдруг понадобятся мне все таки эти атрибуты, придется менять тактику.

*

Оффлайн Aleks45

Да удалит, только атрибуты у вас не будут работать (если они когда-нибудь понадобятся)
Как же тогда все таки удалить из Google такие страницы product/ajax_attrib_select_and_price/ robots не помогает, в интернет магазине 200 товаров и у каждого 5 атрибутов, скоро в индекс вылезут все такие страницы, подскажите пожалуйста что делать?

*

Оффлайн artful knave

*удалено за ненужностью*
« Последнее редактирование: 28.10.2015, 16:30:10 от artful knave »