0 Пользователей и 1 Гость просматривают эту тему.
  • 10 Ответов
  • 1948 Просмотров
*

Gerostrat

  • Захожу иногда
  • 362
  • 2 / 0
  • Свидетель чайной ложки
Интересует сабж.
Всякая муть начинает сильно грузить сервер, что совсем не нравится. Хотелось бы через user agent запретить индексацию сайта некоторым ботам.
Вариантов дофига в нете, боюсь выбирать, чтобы не закрыть сайт полностью )) Яндекс, Гоши, мэйлы и прочие отечественные поисковики блокировать не хочется.
Буду благодарен за помощь.
*

draff

  • Гуру
  • 5547
  • 395 / 7
  • ищу работу
А не к админке Joomla запросы? Может брутфорс.
*

Gerostrat

  • Захожу иногда
  • 362
  • 2 / 0
  • Свидетель чайной ложки
Кого я вижу! +)
Нет, не брут, стоит RSfirewall, он молчит. Когда ломятся в админку, сообщает на ящик.
*

Gerostrat

  • Захожу иногда
  • 362
  • 2 / 0
  • Свидетель чайной ложки
Ну, вот пример
Код
SetEnvIfNoCase User-Agent ^$ bad_bot
SetEnvIfNoCase User-Agent "^AESOP_com_SpiderMan" bad_bot
SetEnvIfNoCase User-Agent "^Alexibot" bad_bot
SetEnvIfNoCase User-Agent "Anonymouse.org" bad_bot

<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</Limit>
Останется только вписать User-Agent'ы ботов и усе?
Али нет?
*

draff

  • Гуру
  • 5547
  • 395 / 7
  • ищу работу
Будет ошибку давать Trace .
Вот так вписал.
Спойлер
[свернуть]
п.с.
http://joomlaforum.ru/index.php/topic,276828.0.html
« Последнее редактирование: 05.11.2013, 09:53:39 от draff »
*

Gerostrat

  • Захожу иногда
  • 362
  • 2 / 0
  • Свидетель чайной ложки
Спасибо. Быстренько исправил =)
*

Gerostrat

  • Захожу иногда
  • 362
  • 2 / 0
  • Свидетель чайной ложки
Ок, по такому же методу не пускать роботов у которых user-agent не указан?
*

Gerostrat

  • Захожу иногда
  • 362
  • 2 / 0
  • Свидетель чайной ложки
а че-то не работает... Прописанный бот все равно сегодня бегает по сайту...
*

draff

  • Гуру
  • 5547
  • 395 / 7
  • ищу работу
а че-то не работает... Прописанный бот все равно сегодня бегает по сайту...
Ты по ссылке ходил читать инфо ?
http://foxi.biz/snizaem-nagruzku-na-server-na-90-protentov.html
*

Gerostrat

  • Захожу иногда
  • 362
  • 2 / 0
  • Свидетель чайной ложки
Именно.
Заметил, что работает. Отдает код ботам 403. Я так понимаю, это так и должно работать?
*

draff

  • Гуру
  • 5547
  • 395 / 7
  • ищу работу
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться
 

Кнопка “Добавить в корзину” VirtueMart не работает на главной странице сайта

Автор max_max

Ответов: 0
Просмотров: 5389
Последний ответ 20.04.2021, 12:40:37
от max_max
Закрыть от индексации только страницу категории

Автор DDAANN

Ответов: 5
Просмотров: 1785
Последний ответ 07.03.2021, 13:23:34
от Followme
[FAQ] Ускоряем загрузку сайта (руководства и инструменты)

Автор Fedor Vlasenko

Ответов: 117
Просмотров: 94091
Последний ответ 05.11.2020, 19:53:12
от Grigoriy82
Как убрать < class="moduletable ">на лицевой части сайта?

Автор indes

Ответов: 11
Просмотров: 2918
Последний ответ 07.05.2020, 17:35:38
от beliyadm
LMS под Joomla 2.5 (создание сайта дистанционного обучения)

Автор kovardaks

Ответов: 8
Просмотров: 9186
Последний ответ 14.09.2019, 19:38:54
от Arturr