Googlebot блокирует страницы сайта

  • 10 Ответов
  • 646 Просмотров

0 Пользователей и 1 Гость просматривают эту тему.

*

uisr

  • Давно я тут
  • ****
  • 200
  • 0
Привет всем!

Googlebot блокирует страницы сайта, хотя после проверки в консоле "Просмотреть как Googlebot" страница отображается вполне нормально. При этом, блокируются лишь незначительные скрипты, такие как Яндекс.Метрика, виджет Gismeteo, Liveinternet.

Вот скриншот: https://dropmefiles.com/iKsTD

Отрыл для доступа все необходимые фалы в Robot.txt.

Вопрос, может ли из-за этих скриптов блокироваться вся страница? Если да, то как это решить?

Тут мой robot.txt:
Спойлер
[свернуть]

*

kik84

  • Живу я здесь
  • ******
  • 1267
  • 59
Re: Googlebot блокирует страницы сайта
« Ответ #1 : 29.06.2015, 19:07:21 »
"блокируются лишь незначительные скрипты"
С чего вдруг будет блокироваться вся страница, тем более, что в консоли все норм?

Лучше в роботс сделать так:
User-agent: *
здесь правила для  Google

User-Agent: Yandex
здесь правила для малоизвестного голландского поисковика

Host:...

*

uisr

  • Давно я тут
  • ****
  • 200
  • 0
Re: Googlebot блокирует страницы сайта
« Ответ #2 : 29.06.2015, 19:11:29 »
Ну у меня для Яндекса уже указан робот. Я указал лишь тот, который предназначен для Google.

т.е. вы предлагаете так все оставить?

И еще, у меня host указан в user-agent: *.

Я пытался указать такой же host и для яндекса, но он вызывал ошибку.
« Последнее редактирование: 29.06.2015, 19:15:35 от uisr »

*

kik84

  • Живу я здесь
  • ******
  • 1267
  • 59
Re: Googlebot блокирует страницы сайта
« Ответ #3 : 29.06.2015, 20:26:46 »
По-моему, запись host в роботс может быть только одна.

*

uisr

  • Давно я тут
  • ****
  • 200
  • 0
Re: Googlebot блокирует страницы сайта
« Ответ #4 : 29.06.2015, 20:29:02 »
Ну поэтому я и указал Host именно в User-agent: * для всех роботов.

А почему именно нужно указать хост для Яндекса?

*

kik84

  • Живу я здесь
  • ******
  • 1267
  • 59
Re: Googlebot блокирует страницы сайта
« Ответ #5 : 29.06.2015, 20:36:17 »
Не знаю... Пусть будет хост для всех роботов. Если в ВМ указать зеркала, то проблем не будет даже и без этой строки.

*

uisr

  • Давно я тут
  • ****
  • 200
  • 0
Re: Googlebot блокирует страницы сайта
« Ответ #6 : 29.06.2015, 20:40:09 »
Ээээ... А что такое ВМ? :))

*

kik84

  • Живу я здесь
  • ******
  • 1267
  • 59
Re: Googlebot блокирует страницы сайта
« Ответ #7 : 29.06.2015, 20:59:03 »
вебмастер поисковика

*

uisr

  • Давно я тут
  • ****
  • 200
  • 0
Re: Googlebot блокирует страницы сайта
« Ответ #8 : 29.06.2015, 21:03:35 »
Вы имеете ввиду переадресацию 301?

АПД: У меня указан главный сайт без www. Я это сделал и Гугл, и в Яндекс.

*

kik84

  • Живу я здесь
  • ******
  • 1267
  • 59
Re: Googlebot блокирует страницы сайта
« Ответ #9 : 30.06.2015, 11:04:24 »
Если с www редирект работает, то я бы вообще не парился по поводу host в роботс

*

uisr

  • Давно я тут
  • ****
  • 200
  • 0
Re: Googlebot блокирует страницы сайта
« Ответ #10 : 30.06.2015, 14:23:38 »
Я вообще парюсь потому, что у меня Google блокирует сайт. Собственно, поэтому и написал.

Изменения в robot.txt сделал в 28 июня, а на 27 июня Google блокирует 33 страницы сайта. Наверное, нужно еще подождать :)