Новости Joomla

0 Пользователей и 1 Гость просматривают эту тему.
  • 10 Ответов
  • 1192 Просмотров
*

uisr

  • Захожу иногда
  • 197
  • 1 / 1
Привет всем!

Googlebot блокирует страницы сайта, хотя после проверки в консоле "Просмотреть как Googlebot" страница отображается вполне нормально. При этом, блокируются лишь незначительные скрипты, такие как Яндекс.Метрика, виджет Gismeteo, Liveinternet.

Вот скриншот: https://dropmefiles.com/iKsTD

Отрыл для доступа все необходимые фалы в Robot.txt.

Вопрос, может ли из-за этих скриптов блокироваться вся страница? Если да, то как это решить?

Тут мой robot.txt:
Спойлер
[свернуть]
*

kik84

  • Завсегдатай
  • 1350
  • 64 / 4
Re: Googlebot блокирует страницы сайта
« Ответ #1 : 29.06.2015, 17:07:21 »
"блокируются лишь незначительные скрипты"
С чего вдруг будет блокироваться вся страница, тем более, что в консоли все норм?

Лучше в роботс сделать так:
User-agent: *
здесь правила для  Google

User-Agent: Yandex
здесь правила для малоизвестного голландского поисковика

Host:...
*

uisr

  • Захожу иногда
  • 197
  • 1 / 1
Re: Googlebot блокирует страницы сайта
« Ответ #2 : 29.06.2015, 17:11:29 »
Ну у меня для Яндекса уже указан робот. Я указал лишь тот, который предназначен для Google.

т.е. вы предлагаете так все оставить?

И еще, у меня host указан в user-agent: *.

Я пытался указать такой же host и для яндекса, но он вызывал ошибку.
« Последнее редактирование: 29.06.2015, 17:15:35 от uisr »
*

kik84

  • Завсегдатай
  • 1350
  • 64 / 4
Re: Googlebot блокирует страницы сайта
« Ответ #3 : 29.06.2015, 18:26:46 »
По-моему, запись host в роботс может быть только одна.
*

uisr

  • Захожу иногда
  • 197
  • 1 / 1
Re: Googlebot блокирует страницы сайта
« Ответ #4 : 29.06.2015, 18:29:02 »
Ну поэтому я и указал Host именно в User-agent: * для всех роботов.

А почему именно нужно указать хост для Яндекса?
*

kik84

  • Завсегдатай
  • 1350
  • 64 / 4
Re: Googlebot блокирует страницы сайта
« Ответ #5 : 29.06.2015, 18:36:17 »
Не знаю... Пусть будет хост для всех роботов. Если в ВМ указать зеркала, то проблем не будет даже и без этой строки.
*

uisr

  • Захожу иногда
  • 197
  • 1 / 1
Re: Googlebot блокирует страницы сайта
« Ответ #6 : 29.06.2015, 18:40:09 »
Ээээ... А что такое ВМ? :))
*

kik84

  • Завсегдатай
  • 1350
  • 64 / 4
Re: Googlebot блокирует страницы сайта
« Ответ #7 : 29.06.2015, 18:59:03 »
вебмастер поисковика
*

uisr

  • Захожу иногда
  • 197
  • 1 / 1
Re: Googlebot блокирует страницы сайта
« Ответ #8 : 29.06.2015, 19:03:35 »
Вы имеете ввиду переадресацию 301?

АПД: У меня указан главный сайт без www. Я это сделал и Гугл, и в Яндекс.
*

kik84

  • Завсегдатай
  • 1350
  • 64 / 4
Re: Googlebot блокирует страницы сайта
« Ответ #9 : 30.06.2015, 09:04:24 »
Если с www редирект работает, то я бы вообще не парился по поводу host в роботс
*

uisr

  • Захожу иногда
  • 197
  • 1 / 1
Re: Googlebot блокирует страницы сайта
« Ответ #10 : 30.06.2015, 12:23:38 »
Я вообще парюсь потому, что у меня Google блокирует сайт. Собственно, поэтому и написал.

Изменения в robot.txt сделал в 28 июня, а на 27 июня Google блокирует 33 страницы сайта. Наверное, нужно еще подождать :)
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться
 

Редирект для страницы с добавлением кода языка

Автор zeus07

Ответов: 0
Просмотров: 704
Последний ответ 26.06.2023, 11:25:10
от zeus07
SEO продвижение сайта

Автор ijawyhiti

Ответов: 0
Просмотров: 1159
Последний ответ 03.10.2022, 14:47:05
от ijawyhiti
Роботу Googlebot заблокирован доступ в файле robots.txt

Автор illimited

Ответов: 3
Просмотров: 1707
Последний ответ 29.05.2022, 14:57:55
от web1
Google не индексирует страницы через ajax ссылки

Автор illimited

Ответов: 0
Просмотров: 945
Последний ответ 31.03.2022, 23:53:05
от illimited
Как вывести в сниппете название статьи, а потом название сайта?

Автор gorbi_U

Ответов: 0
Просмотров: 672
Последний ответ 18.01.2022, 18:29:22
от gorbi_U