Как заблокировать бота MegaIndex.ru/2.0; +http://megaindex.com/crawler?

  • 11 Ответов
  • 2912 Просмотров

0 Пользователей и 1 Гость просматривают эту тему.

Всем доброго, появилась опять чрезмерная нагрузка на сервер. Причиной тому стал

78.46.174.55  (compatible; MegaIndex.ru/2.0; +http://megaindex.com/crawler)


Как его заблокировать?

Из того, что я умею, это протокол

Order Allow,Deny
allow from all
deny from 78.46.174.55

И вот такая запись в htaccess


Спойлер
[свернуть]

*

Оффлайн kik84

А если просто Crawl-delay: 30?

А если просто Crawl-delay: 30?

Я дико извиняюсь, но мои познания не такие уж большие. Куда это написать?

*

Оффлайн kik84

Я дико извиняюсь, но мои познания не такие уж большие. Куда это написать?
В robots.txt

Или лучше так в хтачес
RewriteEngine on
RewriteCond %{USER_AGENT} bingbot [NC]
RewriteRule .* - [F]
но вместо bingbot - бота мегаиндекса или он тут уже есть? ## Блокировка по USER AGENT:...

Написал вот так (в самом низу). Так будет работатать, или лучше написать отдельным пунктом по вашему?

Спойлер
[свернуть]

*

Оффлайн kik84

Не знаю) Если не работает первый вариант, то можно попробовать моим.

Я вот только задумался, "bingbot" - это бот Мегаиндекса или поисковой системы Bing?

*

Оффлайн Свят

  • ***
  • 44
  • [+]1 / [-]0
  • Не прыгаю за бабочками, они сами липнут ко мне...
    • Просмотр профиля
    • mixtland.ru
Я вот только задумался, "bingbot" - это бот Мегаиндекса или поисковой системы Bing?

Совершенно верно Серж! бот мегаиндекса, судя по логам - это "MegaIndex.ru". И на crawl-delay в значении 30 ему наплевать:) он игнорировал это значение и отправлял запросы каждые 5 секунд, за день 20 тысяч запросов успел отправить. Поэтому, забанил его в .htaccess -
RewriteCond %{HTTP_USER_AGENT} MegaIndex.ru [OR]
RewriteRule ^(.*)$ – [F,L]

*

Оффлайн kik84

Я так полагаю, что это происходит если в их сервис сайты добавлять? http://audit.megaindex.ru/audit/competitors/

*

Оффлайн Свят

  • ***
  • 44
  • [+]1 / [-]0
  • Не прыгаю за бабочками, они сами липнут ко мне...
    • Просмотр профиля
    • mixtland.ru
Я так полагаю, что это происходит если в их сервис сайты добавлять? http://audit.megaindex.ru/audit/competitors/
да, три года назад регился там, но робот сошёл с ума только сейчас, каждые 2-3 секунды запросы посылает...
перепробовал все коды - ничего не работает, роботу пофиг. Кстати, код, который я выше написал нельзя сохранить в кодировке ANSI.
Удалил сайт из мегаиндекса 10 минут назад, но до сих пор меня проверяет... Запретил их айпи - вроде сработало, теперь все запросы в error'e.

*

Онлайн ChaosHead

Они весь рунет практически сканируют.
Хотя у них есть услуга аудита сайт, но она платная.

*

Оффлайн kik84

Они весь рунет практически сканируют.
Хотя у них есть услуга аудита сайт, но она платная.
Я только их опцией по релевантности пользуюсь периодически)