Неизвестная директива

Pozzitivsp

Захожу иногда
87
0 / 0
Нет ничего невозможного...

Неизвестная директива

« : 29.03.2011, 17:32:20 »

Всем привет) Обращаюсь к профи в таких делах..)

Пересмотрел свой robots.txt и увидел над основыними даными документа вот такую шапку:

Цитировать

User-agent: *
# Added by add_robots.sh
Crawl-delay: 10
Request-rate: 1/10

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Host: www.mysite.com

Откуда она могла взятся и можна ли её удалить ? спасибо

Записан

era

Администратор
1588
392 / 5
В туалете лучше быть пользователем, чем админом.

Re: Неизвестная директива

« Ответ #1 : 29.03.2011, 18:15:00 »

наверное это ваш хостер защищается от излишних нагрузок при заходе поисковиков и добавили эти строчки автоматом всем запустив скрипт (# Added by add_robots.sh)
Crawl-delay: 10 - я так понял что говорит поисковику что хост может быть загружен и страницу запрошенную ждать до 10-и секунд.
Request-rate: 1/10 - говорит поисковику что-бы он запрашивал не более 1-ой страницы за 10 секунд.

Записан

И не жаждут они в пустынях, чрез которые Он ведет их: Он источает им воду из камня; рассекает скалу, и льются воды. / Откровение 48:21

Pozzitivsp

Захожу иногда
87
0 / 0
Нет ничего невозможного...

Re: Неизвестная директива

« Ответ #2 : 29.03.2011, 19:24:52 »

просто в Яндекс вебмастере пишет что это неизвестная директива ))

а я думал что это случилось после обновления дужмлы ) может сейчас такие уже файлы ?? или нет ?

Записан