Как заблокировать бота MegaIndex.ru/2.0; +http://megaindex.com/crawler? - Joomla 2.5: Общие вопросы

Всем доброго, появилась опять чрезмерная нагрузка на сервер. Причиной тому стал

78.46.174.55  (compatible; MegaIndex.ru/2.0; +http://megaindex.com/crawler)


Как его заблокировать?

Из того, что я умею, это протокол


И вот такая запись в htaccess

А если просто Crawl-delay: 30?

А если просто Crawl-delay: 30?

Я дико извиняюсь, но мои познания не такие уж большие. Куда это написать?

Я дико извиняюсь, но мои познания не такие уж большие. Куда это написать?

В robots.txt

Или лучше так в хтачес
RewriteEngine on
RewriteCond %{USER_AGENT} bingbot [NC]
RewriteRule .* - [F]
но вместо bingbot - бота мегаиндекса или он тут уже есть? ## Блокировка по USER AGENT:...

Написал вот так (в самом низу). Так будет работатать, или лучше написать отдельным пунктом по вашему?

Не знаю) Если не работает первый вариант, то можно попробовать моим.

Я вот только задумался, "bingbot" - это бот Мегаиндекса или поисковой системы Bing?

Я вот только задумался, "bingbot" - это бот Мегаиндекса или поисковой системы Bing?

Совершенно верно Серж! бот мегаиндекса, судя по логам - это "MegaIndex.ru". И на crawl-delay в значении 30 ему наплевать:) он игнорировал это значение и отправлял запросы каждые 5 секунд, за день 20 тысяч запросов успел отправить. Поэтому, забанил его в .htaccess -

Я так полагаю, что это происходит если в их сервис сайты добавлять? http://audit.megaindex.ru/audit/competitors/

Я так полагаю, что это происходит если в их сервис сайты добавлять? http://audit.megaindex.ru/audit/competitors/

да, три года назад регился там, но робот сошёл с ума только сейчас, каждые 2-3 секунды запросы посылает...
перепробовал все коды - ничего не работает, роботу пофиг. Кстати, код, который я выше написал нельзя сохранить в кодировке ANSI.
Удалил сайт из мегаиндекса 10 минут назад, но до сих пор меня проверяет... Запретил их айпи - вроде сработало, теперь все запросы в error'e.

Они весь рунет практически сканируют.
Хотя у них есть услуга аудита сайт, но она платная.

Они весь рунет практически сканируют.
Хотя у них есть услуга аудита сайт, но она платная.

Я только их опцией по релевантности пользуюсь периодически)