Помогите атакует поисковый робот! bingbot - Поисковая оптимизация, продвижение сайтов на Joomla (SEO)

Обратил внимание, что последнюю неделю сайт стал просто до безобразия медленно работать, до тех пор пока вообще не ушел в 503 Service Temporarily Unavailable. Посмотрев папку логов, заметно на глазах растёт файл логов. Сразу мысль DDOS атака, но посмотрев логи

207.46.13.212 - - [12/Dec/2011:10:01:15 +0200] "GET /сайт/товар?keyword=dream HTTP/1.0" 200 93488 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
65.52.104.29 - - [12/Dec/2011:10:01:15 +0200] "GET /сайт/товар??keyword=%D0%A4%D0%B8%D0%B3%D1%83%D1%80%D0%BA%D0%B0 HTTP/1.0" 200 110513 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
65.52.104.29 - - [12/Dec/2011:10:01:15 +0200] "GET /сайт/товар??keyword=%D0%9C%D0%B0%D0%BD%D0%B5%D0%B6 HTTP/1.0" 200 113635 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
207.46.13.117 - - [12/Dec/2011:10:01:15 +0200] "/сайт/товар??keyword=%D0%96%D0%B5%D0%BB%D1%82%D1%8B%D0%B9 HTTP/1.0" 200 110564 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
207.46.199.51 - - [12/Dec/2011:10:01:13 +0200] "GET /сайт/товар??keyword=%D0%B8%D0%B7 HTTP/1.0" 200 140981 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"

Вообщем, как видите, бот бингбот просто разошёлся на сайте, мало того он тупо ищет по поиску, через каждые 5-10 секунд. Из-за него ложится весь сайт.

Добавлял в .htaccess запрет по ботам и по IP 207.46. и 65.52. - всё равно логи раздувает
SetEnvIfNoCase User-Agent "^igdeSpyder" search_bot
SetEnvIfNoCase User-Agent "^Robot" search_bot
SetEnvIfNoCase User-Agent "^msnbot" search_bot
SetEnvIfNoCase User-Agent "^Aport" search_bot
SetEnvIfNoCase User-Agent "^Mail" search_bot
SetEnvIfNoCase User-Agent "^bot" search_bot
SetEnvIfNoCase User-Agent "^spider" search_bot
SetEnvIfNoCase User-Agent "^php" search_bot
SetEnvIfNoCase User-Agent "^Parser" search_bot
SetEnvIfNoCase User-Agent "^bingbot/2.0" search_bot
SetEnvIfNoCase User-Agent "^bingbot" search_bot

<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
Deny from env=search_bot
</Limit>

правда в файле сайт.error.log изредка появляется надпись, но мне от этого не легче

[Mon Dec 12 03:54:33 2011] [error] [client 207.46.194.51] client denied by server configuration: сайт

Уважаемые, помогите советом, как избавится от этих ботов? Спасибо

в robots.txt еще попробуйте - откройте Яндексу и Google (или кому надо), а остальным

User-agent: *
Disallow: /

Ну, если у Вас сайт уходит в 503 Service Temporarily Unavailable от одного бота - стоит подумать над оптимизацией. запросы через 5-10 секунд обычно в аут не отправляют. Я на своих программках всяких ставлю таймаут 2 секунды - и ни один сайт еще не лег.

Taatshi , в том то и дело, что я ставил таймаут в роботс для всех поисковиков даже по 60  и наблюдал, он его просто игнорирует, запросы всё равно сыпятся. Что касается пользователей то в среднем около 250 за сутки, но это никак не отражалось на работу, пока именно эти боты забежали. Стоит в админке фаерволл RS, в нём так же прописываю blacklist - побоку.

ELLE , кстати как грамотно закрыть в роботс поисковики в отдельности?

Да и может есть какие идеи, как запретить ботам творить поиск по сайту? Очень буду благодарен

kunev, ну так и закрывайте - обращаясь к каждому в отдельности

User-agent: bingbot
Disallow: /

(или наоборот как выше уже написала)
таймаут не все поддерживают, поэтому игнорируют

ELLE, Вы меня не поняли ). Я имел ввиду, как правильно обзываются боты Google, яндекса. И как убедится в правильности названия Бота бингбот. Добавил в роботс User-agent: bingbot - побоку

ELLE, Вы меня не поняли ). Я имел ввиду, как правильно обзываются боты Google, яндекса. И как убедится в правильности названия Бота бингбот

эм, кажется вопрос стоял так

ELLE , кстати как грамотно закрыть в роботс поисковики в отдельности?

называются так-
Yandex
Googlebot
BingBot

кстати, у Google есть еще картиночный бот

ELLE, ссори у меня уже кругом голова идёт.  Добавил в Роботс
User-agent: bingbot
User-agent: bingbot/2.0
Disallow: /administrator/
Disallow: /cache/
Disallow: /images/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /support/

в логах продолжает писать

207.46.13.117 - - [12/Dec/2011:11:48:43 +0200] "GET HTTP/1.0" 200 96399 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
207.46.195.237 - - [12/Dec/2011:11:48:43 +0200] "GET HTTP/1.0" 200 113360 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
207.46.195.237 - - [12/Dec/2011:11:48:53 +0200] "GET ?keyword=%D0%B4%D0%BE HTTP/1.0" 200 110997 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
207.46.13.117 - - [12/Dec/2011:11:49:13 +0200] "GET HTTP/1.0" 200 111935 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"

Бот сканит человекоподобные урлы (

 

ELLE, ссори у меня уже кругом голова идёт.  Добавил в Роботс
User-agent: bingbot
User-agent: bingbot/2.0

а если так

всё равно пишет в логах   капец просто. Оставил только две строчки в надежде, что он всё перекроет - не выходит. Блин может вся трабла в названии бота или как его по IP написать. Уже его корешь MJ12bot подтянулся ((

Закрой доступ для всех ботов кроме Google и Яндекса или запрети доступ к сайту по IP

CTPZ, делал так

SetEnvIfNoCase User-Agent "^igdeSpyder" search_bot
SetEnvIfNoCase User-Agent "^Robot" search_bot
SetEnvIfNoCase User-Agent "^msnbot" search_bot
SetEnvIfNoCase User-Agent "^Aport" search_bot
SetEnvIfNoCase User-Agent "^Mail" search_bot
SetEnvIfNoCase User-Agent "^bot" search_bot
SetEnvIfNoCase User-Agent "^spider" search_bot
SetEnvIfNoCase User-Agent "^php" search_bot
SetEnvIfNoCase User-Agent "^Parser" search_bot
SetEnvIfNoCase User-Agent "^bingbot/2.0" search_bot
SetEnvIfNoCase User-Agent "^bingbot" search_bot

<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
Deny from env=search_bot
</Limit>

и так

<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
Deny from 65.52.
Deny from 207.46.
</Limit>

до одного места (((

Запрещай при помощи php


Если IP много, можно цикл выполнять.

CTPZ, это уже интересно ). Вопрос нужно блокировать подсети, замечал что они с разных IP заходят, дабы не плодить условий. НУ и самый глупый вопрос, куда вставлять код? )

вот здесь посмотрите должно помочь
в .htaccess по моему вы не то блокируете, а именно

<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
Deny from 65.52.
Deny from 207.46.
</Limit>

Crawl-delay он все таки понимает, поставьте ему 10

CTPZ, это уже интересно ). Вопрос нужно блокировать подсети, замечал что они с разных IP заходят, дабы не плодить условий. НУ и самый глупый вопрос, куда вставлять код? )

Вариант 1
index.php переименовываешь в old-index.php

Создаешь файл index.php и пишешь:


Вариант 2:
Содержимое index.php изменяешь следующим образом:
где index.php - старый код.

ELLE, спасибо, за ссылки, оказывается не один я этим страдаю. сейчас разные варианты рассматриваю, сейчас боты крайне редко прослеживаю, т.к. пользователи повалили.

CTPZ, интересный вариант )

Спасибо Всем ++, позже обязательно отпишусь.

CTPZ, не запускается вообще ( белый экран

Какое из двух?

У меня вообще пол дня бингбот каждую секунду ломился в админку. Что ему там надо было?
На производительность сайта вроде не повлияло, но нагрузку на сервак дало около 8-10 процентов на процессор на скале сервере на клодо. Потому и заметил, что пришел отчет, а там использовано процессорного времени в 7 раз больше чем обычно.

подсеть забаньте что ли...

Так удалось избавиться от наглого бота или нет?

Так удалось избавиться от наглого бота или нет?

А почему вы интересуетесь? С тех пор 9 лет прошло, если что...