Основной курс по Joomla
0 Пользователей и 1 Гость просматривают эту тему.
  • 4 Ответов
  • 203 Просмотров
*

Paradox

  • Осваиваюсь на форуме
  • ***
  • 29
  • 0
Googlebot, robots.txt и кэш
« : 30.05.2017, 00:36:30 »
В общем такая проблема. Недавно залил сайт на хостинг, он еще пока не проиндексирован ПС. Сегодня в Google вебмастере решил просканировать, как видит сайт гуглбот. После почти минуты скана выдало мне статус "частично выполнено". Просканил он только два первых верхних блока на главной и все. Споткнулся на модулях галереи sigplus, которые выведены на главной в виде меняющихся превьюшек. На каждую галерею создавал HTML-модуль и прописывал туда код {gallery slider=boxplus.transition animation=4000}gallery/название папки с фото{/gallery}.
Блокируются все файлы превью типа
cache/thumbs/b7e...............jpg и
cache/preview/...................jpg

Брокирует запись в robots.txt   Disallow: /cache/
Разрешить боту сканировать весь кэш будет неправильно.
Прописать под  Disallow: /cache/
Allow: /cache/thumbs/
Allow: /cache/preview/

Или есть другие варианты ?
« Последнее редактирование: 30.05.2017, 00:40:00 от Paradox »
*

ProtectYourSite

  • Живу я здесь
  • ******
  • 858
  • 48
Re: Googlebot, robots.txt и кэш
« Ответ #1 : 30.05.2017, 01:23:41 »
С чего вы взяли, что Google будет сканировать кеш?
*

Paradox

  • Осваиваюсь на форуме
  • ***
  • 29
  • 0
Re: Googlebot, robots.txt и кэш
« Ответ #2 : 30.05.2017, 01:55:21 »
С чего вы взяли, что Google будет сканировать кеш?

Если не будет запрета, почему нет ? Но эти файлы с превьюшками, которые выводятся на главной, создаются и лежат только в папке с кэшем.  А на эту папку у бота сейчас запрет. Вот он и не может их просканировать.


*

ProtectYourSite

  • Живу я здесь
  • ******
  • 858
  • 48
Re: Googlebot, robots.txt и кэш
« Ответ #3 : 30.05.2017, 11:37:07 »
Лично моё мнение это излишне, делайте как  писали  выше или можете разрешить отдельные типы расширений.
*

Paradox

  • Осваиваюсь на форуме
  • ***
  • 29
  • 0
Re: Googlebot, robots.txt и кэш
« Ответ #4 : 30.05.2017, 15:24:12 »
Лично моё мнение это излишне, делайте как  писали  выше или можете разрешить отдельные типы расширений.

По идее мне и не обязательно, чтобы эти превьюшки индексировались. Оригиналы находятся в папке images, а к ней запрета нет. Только вот не могу при таком варианте просканить сайт гуглботом, как он его видит. Покопаюсь еще в настройках sigplus, может там можно изменить папку миниатюр.