Форум русской поддержки Joomla!® CMS
09.12.2016, 07:59:45 *
Добро пожаловать, Гость. Пожалуйста, войдите или зарегистрируйтесь.
Вам не пришло письмо с кодом активации?

Войти
   
   Начало   Поиск Joomla 3.0 FAQ Joomla 2.5 FAQ Joomla 1.5 FAQ Правила форума Новости Joomla Реклама Войти Регистрация Помощь  
Страниц: [1]   Вниз
  Добавить закладку  |  Печать  
Автор

Googlebot блокирует страницы сайта

 (Прочитано 473 раз)
0 Пользователей и 1 Гость смотрят эту тему.
uisr
Осваиваюсь на форуме
***

Репутация: +1/-1
Offline Offline

Сообщений: 197



« : 29.06.2015, 16:55:12 »

Привет всем!

Googlebot блокирует страницы сайта, хотя после проверки в консоле "Просмотреть как Googlebot" страница отображается вполне нормально. При этом, блокируются лишь незначительные скрипты, такие как Яндекс.Метрика, виджет Gismeteo, Liveinternet.

Вот скриншот: https://dropmefiles.com/iKsTD

Отрыл для доступа все необходимые фалы в Robot.txt.

Вопрос, может ли из-за этих скриптов блокироваться вся страница? Если да, то как это решить?

Тут мой robot.txt:
Показать текстовый блок
Записан
kik84
Живу я здесь
******

Репутация: +59/-4
Offline Offline

Сообщений: 1307



« Ответ #1 : 29.06.2015, 18:07:21 »

"блокируются лишь незначительные скрипты"
С чего вдруг будет блокироваться вся страница, тем более, что в консоли все норм?

Лучше в роботс сделать так:
User-agent: *
здесь правила для  Google

User-Agent: Yandex
здесь правила для малоизвестного голландского поисковика

Host:...
Записан
uisr
Осваиваюсь на форуме
***

Репутация: +1/-1
Offline Offline

Сообщений: 197



« Ответ #2 : 29.06.2015, 18:11:29 »

Ну у меня для Яндекса уже указан робот. Я указал лишь тот, который предназначен для Google.

т.е. вы предлагаете так все оставить?

И еще, у меня host указан в user-agent: *.

Я пытался указать такой же host и для яндекса, но он вызывал ошибку.
« Последнее редактирование: 29.06.2015, 18:15:35 от uisr » Записан
kik84
Живу я здесь
******

Репутация: +59/-4
Offline Offline

Сообщений: 1307



« Ответ #3 : 29.06.2015, 19:26:46 »

По-моему, запись host в роботс может быть только одна.
Записан
uisr
Осваиваюсь на форуме
***

Репутация: +1/-1
Offline Offline

Сообщений: 197



« Ответ #4 : 29.06.2015, 19:29:02 »

Ну поэтому я и указал Host именно в User-agent: * для всех роботов.

А почему именно нужно указать хост для Яндекса?
Записан
kik84
Живу я здесь
******

Репутация: +59/-4
Offline Offline

Сообщений: 1307



« Ответ #5 : 29.06.2015, 19:36:17 »

Не знаю... Пусть будет хост для всех роботов. Если в ВМ указать зеркала, то проблем не будет даже и без этой строки.
Записан
uisr
Осваиваюсь на форуме
***

Репутация: +1/-1
Offline Offline

Сообщений: 197



« Ответ #6 : 29.06.2015, 19:40:09 »

Ээээ... А что такое ВМ? Azn)
Записан
kik84
Живу я здесь
******

Репутация: +59/-4
Offline Offline

Сообщений: 1307



« Ответ #7 : 29.06.2015, 19:59:03 »

вебмастер поисковика
Записан
uisr
Осваиваюсь на форуме
***

Репутация: +1/-1
Offline Offline

Сообщений: 197



« Ответ #8 : 29.06.2015, 20:03:35 »

Вы имеете ввиду переадресацию 301?

АПД: У меня указан главный сайт без www. Я это сделал и Гугл, и в Яндекс.
Записан
kik84
Живу я здесь
******

Репутация: +59/-4
Offline Offline

Сообщений: 1307



« Ответ #9 : 30.06.2015, 10:04:24 »

Если с www редирект работает, то я бы вообще не парился по поводу host в роботс
Записан
uisr
Осваиваюсь на форуме
***

Репутация: +1/-1
Offline Offline

Сообщений: 197



« Ответ #10 : 30.06.2015, 13:23:38 »

Я вообще парюсь потому, что у меня Google блокирует сайт. Собственно, поэтому и написал.

Изменения в robot.txt сделал в 28 июня, а на 27 июня Google блокирует 33 страницы сайта. Наверное, нужно еще подождать Azn
Записан
Страниц: [1]   Вверх
  Добавить закладку  |  Печать  
 
Перейти в:  

Powered by SMF 1.1.21 | SMF © 2006, Simple Machines

Joomlaforum.ru is not affiliated with or endorsed by the Joomla! Project or Open Source Matters.
The Joomla! name and logo is used under a limited license granted by Open Source Matters
the trademark holder in the United States and other countries.

LiveInternet