Форум русской поддержки Joomla!® CMS
07.12.2016, 12:42:45 *
Добро пожаловать, Гость. Пожалуйста, войдите или зарегистрируйтесь.
Вам не пришло письмо с кодом активации?

Войти
   
   Начало   Поиск Joomla 3.0 FAQ Joomla 2.5 FAQ Joomla 1.5 FAQ Правила форума Новости Joomla Реклама Войти Регистрация Помощь  
Страниц: [1]   Вниз
  Добавить закладку  |  Печать  
Автор

Как заблокировать бота MegaIndex.ru/2.0; +http://megaindex.com/crawler?

 (Прочитано 2114 раз)
0 Пользователей и 1 Гость смотрят эту тему.
serg450453
Давно я тут
****

Репутация: +0/-0
Offline Offline

Сообщений: 251



« : 12.05.2015, 11:09:44 »

Всем доброго, появилась опять чрезмерная нагрузка на сервер. Причиной тому стал

78.46.174.55  (compatible; MegaIndex.ru/2.0; +http://megaindex.com/crawler)


Как его заблокировать?

Из того, что я умею, это протокол

Код:
Order Allow,Deny
allow from all
deny from 78.46.174.55

И вот такая запись в htaccess


Показать текстовый блок
Записан
kik84
Живу я здесь
******

Репутация: +59/-4
Offline Offline

Сообщений: 1307



« Ответ #1 : 12.05.2015, 11:32:27 »

А если просто Crawl-delay: 30?
Записан
serg450453
Давно я тут
****

Репутация: +0/-0
Offline Offline

Сообщений: 251



« Ответ #2 : 12.05.2015, 11:39:01 »

А если просто Crawl-delay: 30?

Я дико извиняюсь, но мои познания не такие уж большие. Куда это написать?
Записан
kik84
Живу я здесь
******

Репутация: +59/-4
Offline Offline

Сообщений: 1307



« Ответ #3 : 12.05.2015, 11:47:33 »

Я дико извиняюсь, но мои познания не такие уж большие. Куда это написать?
В robots.txt

Или лучше так в хтачес
RewriteEngine on
RewriteCond %{USER_AGENT} bingbot [NC]
RewriteRule .* - [F]
но вместо bingbot - бота мегаиндекса или он тут уже есть? ## Блокировка по USER AGENT:...
Записан
serg450453
Давно я тут
****

Репутация: +0/-0
Offline Offline

Сообщений: 251



« Ответ #4 : 12.05.2015, 12:55:04 »

Написал вот так (в самом низу). Так будет работатать, или лучше написать отдельным пунктом по вашему?

Показать текстовый блок
Записан
kik84
Живу я здесь
******

Репутация: +59/-4
Offline Offline

Сообщений: 1307



« Ответ #5 : 12.05.2015, 15:12:22 »

Не знаю) Если не работает первый вариант, то можно попробовать моим.
Записан
serg450453
Давно я тут
****

Репутация: +0/-0
Offline Offline

Сообщений: 251



« Ответ #6 : 15.05.2015, 10:16:12 »

Я вот только задумался, "bingbot" - это бот Мегаиндекса или поисковой системы Bing?
Записан
Свят
Осваиваюсь на форуме
***

Репутация: +1/-0
Offline Offline

Пол: Мужской
Сообщений: 44


Не прыгаю за бабочками, они сами липнут ко мне...


« Ответ #7 : 23.06.2015, 17:36:57 »

Я вот только задумался, "bingbot" - это бот Мегаиндекса или поисковой системы Bing?

Совершенно верно Серж! бот мегаиндекса, судя по логам - это "MegaIndex.ru". И на crawl-delay в значении 30 ему наплевать:) он игнорировал это значение и отправлял запросы каждые 5 секунд, за день 20 тысяч запросов успел отправить. Поэтому, забанил его в .htaccess -
Код:
RewriteCond %{HTTP_USER_AGENT} MegaIndex.ru [OR]
RewriteRule ^(.*)$ – [F,L]
Записан
kik84
Живу я здесь
******

Репутация: +59/-4
Offline Offline

Сообщений: 1307



« Ответ #8 : 23.06.2015, 20:18:44 »

Я так полагаю, что это происходит если в их сервис сайты добавлять? http://audit.megaindex.ru/audit/competitors/
Записан
Свят
Осваиваюсь на форуме
***

Репутация: +1/-0
Offline Offline

Пол: Мужской
Сообщений: 44


Не прыгаю за бабочками, они сами липнут ко мне...


« Ответ #9 : 24.06.2015, 13:44:08 »

Я так полагаю, что это происходит если в их сервис сайты добавлять? http://audit.megaindex.ru/audit/competitors/
да, три года назад регился там, но робот сошёл с ума только сейчас, каждые 2-3 секунды запросы посылает...
перепробовал все коды - ничего не работает, роботу пофиг. Кстати, код, который я выше написал нельзя сохранить в кодировке ANSI.
Удалил сайт из мегаиндекса 10 минут назад, но до сих пор меня проверяет... Запретил их айпи - вроде сработало, теперь все запросы в error'e.
Записан
ChaosHead
Профи
********

Репутация: +381/-10
Offline Offline

Пол: Мужской
Сообщений: 4392



« Ответ #10 : 24.06.2015, 16:07:06 »

Они весь рунет практически сканируют.
Хотя у них есть услуга аудита сайт, но она платная.
Записан
kik84
Живу я здесь
******

Репутация: +59/-4
Offline Offline

Сообщений: 1307



« Ответ #11 : 24.06.2015, 18:00:18 »

Они весь рунет практически сканируют.
Хотя у них есть услуга аудита сайт, но она платная.
Я только их опцией по релевантности пользуюсь периодически)
Записан
Страниц: [1]   Вверх
  Добавить закладку  |  Печать  
 
Перейти в:  

Powered by SMF 1.1.21 | SMF © 2006, Simple Machines

Joomlaforum.ru is not affiliated with or endorsed by the Joomla! Project or Open Source Matters.
The Joomla! name and logo is used under a limited license granted by Open Source Matters
the trademark holder in the United States and other countries.

LiveInternet