0 Пользователей и 1 Гость просматривают эту тему.
  • 4 Ответов
  • 1419 Просмотров
*

Paradox

  • Осваиваюсь на форуме
  • 34
  • 0 / 0
Googlebot, robots.txt и кэш
« : 29.05.2017, 22:36:30 »
В общем такая проблема. Недавно залил сайт на хостинг, он еще пока не проиндексирован ПС. Сегодня в Google вебмастере решил просканировать, как видит сайт гуглбот. После почти минуты скана выдало мне статус "частично выполнено". Просканил он только два первых верхних блока на главной и все. Споткнулся на модулях галереи sigplus, которые выведены на главной в виде меняющихся превьюшек. На каждую галерею создавал HTML-модуль и прописывал туда код {gallery slider=boxplus.transition animation=4000}gallery/название папки с фото{/gallery}.
Блокируются все файлы превью типа
cache/thumbs/b7e...............jpg и
cache/preview/...................jpg

Брокирует запись в robots.txt   Disallow: /cache/
Разрешить боту сканировать весь кэш будет неправильно.
Прописать под  Disallow: /cache/
Allow: /cache/thumbs/
Allow: /cache/preview/

Или есть другие варианты ?
« Последнее редактирование: 29.05.2017, 22:40:00 от Paradox »
*

ProtectYourSite

  • Живу я здесь
  • 2356
  • 135 / 4
  • Безопасность вебсайтов
Re: Googlebot, robots.txt и кэш
« Ответ #1 : 29.05.2017, 23:23:41 »
С чего вы взяли, что Google будет сканировать кеш?
*

Paradox

  • Осваиваюсь на форуме
  • 34
  • 0 / 0
Re: Googlebot, robots.txt и кэш
« Ответ #2 : 29.05.2017, 23:55:21 »
С чего вы взяли, что Google будет сканировать кеш?

Если не будет запрета, почему нет ? Но эти файлы с превьюшками, которые выводятся на главной, создаются и лежат только в папке с кэшем.  А на эту папку у бота сейчас запрет. Вот он и не может их просканировать.


*

ProtectYourSite

  • Живу я здесь
  • 2356
  • 135 / 4
  • Безопасность вебсайтов
Re: Googlebot, robots.txt и кэш
« Ответ #3 : 30.05.2017, 09:37:07 »
Лично моё мнение это излишне, делайте как  писали  выше или можете разрешить отдельные типы расширений.
*

Paradox

  • Осваиваюсь на форуме
  • 34
  • 0 / 0
Re: Googlebot, robots.txt и кэш
« Ответ #4 : 30.05.2017, 13:24:12 »
Лично моё мнение это излишне, делайте как  писали  выше или можете разрешить отдельные типы расширений.

По идее мне и не обязательно, чтобы эти превьюшки индексировались. Оригиналы находятся в папке images, а к ней запрета нет. Только вот не могу при таком варианте просканить сайт гуглботом, как он его видит. Покопаюсь еще в настройках sigplus, может там можно изменить папку миниатюр.
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться
 

Роботу Googlebot заблокирован доступ в файле robots.txt

Автор illimited

Ответов: 3
Просмотров: 1780
Последний ответ 29.05.2022, 14:57:55
от web1
Правильный robots.txt? [вопросы/обсуждение]

Автор wishlight

Ответов: 447
Просмотров: 200906
Последний ответ 20.11.2021, 16:53:49
от Byzi
Как лучше прописать robots.txt?

Автор web1

Ответов: 2
Просмотров: 649
Последний ответ 25.07.2021, 21:38:12
от web1
Разные robots.txt

Автор yyyuuu

Ответов: 7
Просмотров: 665
Последний ответ 14.01.2021, 14:06:58
от rsn
Языки /en/ /ru/ проблема с входом в админку и редиректит на site.r/ru/robots.txt

Автор HolySong

Ответов: 0
Просмотров: 670
Последний ответ 10.07.2020, 13:12:46
от HolySong