0 Пользователей и 1 Гость просматривают эту тему.
  • 11 Ответов
  • 3093 Просмотров
*

serg450453

  • Давно я тут
  • 263
  • 1
Всем доброго, появилась опять чрезмерная нагрузка на сервер. Причиной тому стал

78.46.174.55  (compatible; MegaIndex.ru/2.0; +http://megaindex.com/crawler)


Как его заблокировать?

Из того, что я умею, это протокол

Код
Order Allow,Deny 
allow from all
deny from 78.46.174.55

И вот такая запись в htaccess


Спойлер
[свернуть]
*

kik84

  • Живу я здесь
  • 1278
  • 59
А если просто Crawl-delay: 30?
*

serg450453

  • Давно я тут
  • 263
  • 1
А если просто Crawl-delay: 30?

Я дико извиняюсь, но мои познания не такие уж большие. Куда это написать?
*

kik84

  • Живу я здесь
  • 1278
  • 59
Я дико извиняюсь, но мои познания не такие уж большие. Куда это написать?
В robots.txt

Или лучше так в хтачес
RewriteEngine on
RewriteCond %{USER_AGENT} bingbot [NC]
RewriteRule .* - [F]
но вместо bingbot - бота мегаиндекса или он тут уже есть? ## Блокировка по USER AGENT:...
*

serg450453

  • Давно я тут
  • 263
  • 1
Написал вот так (в самом низу). Так будет работатать, или лучше написать отдельным пунктом по вашему?

Спойлер
[свернуть]
*

kik84

  • Живу я здесь
  • 1278
  • 59
Не знаю) Если не работает первый вариант, то можно попробовать моим.
*

serg450453

  • Давно я тут
  • 263
  • 1
Я вот только задумался, "bingbot" - это бот Мегаиндекса или поисковой системы Bing?
*

Свят

  • Осваиваюсь на форуме
  • 44
  • 1
  • Не прыгаю за бабочками, они сами липнут ко мне...
Я вот только задумался, "bingbot" - это бот Мегаиндекса или поисковой системы Bing?

Совершенно верно Серж! бот мегаиндекса, судя по логам - это "MegaIndex.ru". И на crawl-delay в значении 30 ему наплевать:) он игнорировал это значение и отправлял запросы каждые 5 секунд, за день 20 тысяч запросов успел отправить. Поэтому, забанил его в .htaccess -
Код
RewriteCond %{HTTP_USER_AGENT} MegaIndex.ru [OR]
RewriteRule ^(.*)$ – [F,L]
*

kik84

  • Живу я здесь
  • 1278
  • 59
Я так полагаю, что это происходит если в их сервис сайты добавлять? http://audit.megaindex.ru/audit/competitors/
*

Свят

  • Осваиваюсь на форуме
  • 44
  • 1
  • Не прыгаю за бабочками, они сами липнут ко мне...
Я так полагаю, что это происходит если в их сервис сайты добавлять? http://audit.megaindex.ru/audit/competitors/
да, три года назад регился там, но робот сошёл с ума только сейчас, каждые 2-3 секунды запросы посылает...
перепробовал все коды - ничего не работает, роботу пофиг. Кстати, код, который я выше написал нельзя сохранить в кодировке ANSI.
Удалил сайт из мегаиндекса 10 минут назад, но до сих пор меня проверяет... Запретил их айпи - вроде сработало, теперь все запросы в error'e.
*

ChaosHead

  • Профи
  • 4751
  • 398
Они весь рунет практически сканируют.
Хотя у них есть услуга аудита сайт, но она платная.
*

kik84

  • Живу я здесь
  • 1278
  • 59
Они весь рунет практически сканируют.
Хотя у них есть услуга аудита сайт, но она платная.
Я только их опцией по релевантности пользуюсь периодически)
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться
 

Как редактировать эту страницу http://xn----7sbonopgorkq.xn--p1ai/LP/Visa/index\?

Автор Ирина Поехали

Ответов: 6
Просмотров: 133
Последний ответ 13.09.2017, 08:55:51
от Ирина Поехали
HTTP 301 Перенаправление на domain.com/?lang=en-GB

Автор hilton413

Ответов: 2
Просмотров: 644
Последний ответ 28.07.2015, 14:25:10
от hilton413
Как найти выполнение команды или как заблокировать?

Автор svikt

Ответов: 6
Просмотров: 385
Последний ответ 12.05.2015, 17:07:41
от svikt
Дубль главной страницы http://сайт/?qwerty123456

Автор daimark

Ответов: 0
Просмотров: 406
Последний ответ 10.11.2014, 13:06:13
от daimark
Выкидывание в http://localhost/denwer/ при открытии статьи

Автор zmey_s

Ответов: 1
Просмотров: 429
Последний ответ 14.10.2014, 14:30:44
от arma