0 Пользователей и 1 Гость просматривают эту тему.
  • 1 Ответов
  • 1523 Просмотров
*

Antares

  • Новичок
  • 5
  • 0 / 0
Disallow: media, logs, images, components.
« : 24.06.2011, 18:16:17 »
Проанализировав большое число robots.txt различных людей, я заметил, что большинство не включают в "Disallow:" 4 папки: "media, logs, images, components "...
Почему? Разве не нужно все эти папки скрывать от индексирования поисковиками? Зачем паукам сканировать эти папки?
Помогите разобраться.
*

faraon_x

  • Захожу иногда
  • 362
  • 27 / 1
  • Чем смогу, тем помогу )))
Re: Disallow: media, logs, images, components.
« Ответ #1 : 26.06.2011, 19:01:31 »
Картинки и видео, если есть на сайте, то обычно необходимо, чтобы они проиндексировались. А вообще, ПС не будет выкорчевывать ваш сайт на все возможные материалы, а будет ходить по всем имеющемся ссылкам сайта и в сети. Просто следите за информацией, которую предоставляете к индексу ПС.
Вопросы по JFORMS, можно ещё попробовать задать здесь
Российский 3d сканер от разработчиков и производителей
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться
 

Папка media/templates в шаблонах на warp

Автор AlexB

Ответов: 0
Просмотров: 570
Последний ответ 28.04.2020, 13:42:26
от AlexB
Спрятать от яндекса и показать sape плагин disallow: РЕШЕНО

Автор Turban

Ответов: 10
Просмотров: 5981
Последний ответ 27.02.2013, 20:59:52
от imsprice
robots.txt Disallow: /component/*

Автор Akksimo

Ответов: 6
Просмотров: 2777
Последний ответ 22.02.2011, 20:44:00
от Pinin