0 Пользователей и 1 Гость просматривают эту тему.
  • 22 Ответов
  • 20109 Просмотров
*

kunev

  • Захожу иногда
  • 118
  • 0 / 0
Обратил внимание, что последнюю неделю сайт стал просто до безобразия медленно работать, до тех пор пока вообще не ушел в 503 Service Temporarily Unavailable. Посмотрев папку логов, заметно на глазах растёт файл логов. Сразу мысль DDOS атака, но посмотрев логи

207.46.13.212 - - [12/Dec/2011:10:01:15 +0200] "GET /сайт/товар?keyword=dream HTTP/1.0" 200 93488 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
65.52.104.29 - - [12/Dec/2011:10:01:15 +0200] "GET /сайт/товар??keyword=%D0%A4%D0%B8%D0%B3%D1%83%D1%80%D0%BA%D0%B0 HTTP/1.0" 200 110513 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
65.52.104.29 - - [12/Dec/2011:10:01:15 +0200] "GET /сайт/товар??keyword=%D0%9C%D0%B0%D0%BD%D0%B5%D0%B6 HTTP/1.0" 200 113635 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
207.46.13.117 - - [12/Dec/2011:10:01:15 +0200] "/сайт/товар??keyword=%D0%96%D0%B5%D0%BB%D1%82%D1%8B%D0%B9 HTTP/1.0" 200 110564 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
207.46.199.51 - - [12/Dec/2011:10:01:13 +0200] "GET /сайт/товар??keyword=%D0%B8%D0%B7 HTTP/1.0" 200 140981 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"

Вообщем, как видите, бот бингбот просто разошёлся на сайте, мало того он тупо ищет по поиску, через каждые 5-10 секунд. Из-за него ложится весь сайт.

Добавлял в .htaccess запрет по ботам и по IP 207.46. и 65.52. - всё равно логи раздувает
SetEnvIfNoCase User-Agent "^igdeSpyder" search_bot
SetEnvIfNoCase User-Agent "^Robot" search_bot
SetEnvIfNoCase User-Agent "^msnbot" search_bot
SetEnvIfNoCase User-Agent "^Aport" search_bot
SetEnvIfNoCase User-Agent "^Mail" search_bot
SetEnvIfNoCase User-Agent "^bot" search_bot
SetEnvIfNoCase User-Agent "^spider" search_bot
SetEnvIfNoCase User-Agent "^php" search_bot
SetEnvIfNoCase User-Agent "^Parser" search_bot
SetEnvIfNoCase User-Agent "^bingbot/2.0" search_bot
SetEnvIfNoCase User-Agent "^bingbot" search_bot

<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
Deny from env=search_bot
</Limit>

правда в файле сайт.error.log изредка появляется надпись, но мне от этого не легче

[Mon Dec 12 03:54:33 2011] [error] [client 207.46.194.51] client denied by server configuration: сайт

Уважаемые, помогите советом, как избавится от этих ботов? Спасибо
*

ELLE

  • Глобальный модератор
  • 4513
  • 892 / 0
в robots.txt еще попробуйте - откройте Яндексу и Google (или кому надо), а остальным

User-agent: *
Disallow: /
*

Taatshi

  • Глобальный модератор
  • 5257
  • 480 / 1
  • Верстаем и кодим. Обращайтесь ;)
Ну, если у Вас сайт уходит в 503 Service Temporarily Unavailable от одного бота - стоит подумать над оптимизацией. запросы через 5-10 секунд обычно в аут не отправляют. Я на своих программках всяких ставлю таймаут 2 секунды - и ни один сайт еще не лег.
ВЕРСТКА, САЙТЫ ПОД КЛЮЧ, УДАЛЕНИЕ ВИРУСОВ, МИГРАЦИЯ НА JOOMLA 3, ОБНОВЛЕНИЕ  |  ОТЗЫВЫ 
Связь: telegram - Taatshi, почта - Taatshi на яндексе, Skype - Taatshi
*

kunev

  • Захожу иногда
  • 118
  • 0 / 0
Taatshi , в том то и дело, что я ставил таймаут в роботс для всех поисковиков даже по 60  и наблюдал, он его просто игнорирует, запросы всё равно сыпятся. Что касается пользователей то в среднем около 250 за сутки, но это никак не отражалось на работу, пока именно эти боты забежали. Стоит в админке фаерволл RS, в нём так же прописываю blacklist - побоку.

ELLE , кстати как грамотно закрыть в роботс поисковики в отдельности?

Да и может есть какие идеи, как запретить ботам творить поиск по сайту? Очень буду благодарен
*

ELLE

  • Глобальный модератор
  • 4513
  • 892 / 0
kunev, ну так и закрывайте - обращаясь к каждому в отдельности

User-agent: bingbot
Disallow: /

(или наоборот как выше уже написала)
таймаут не все поддерживают, поэтому игнорируют
*

kunev

  • Захожу иногда
  • 118
  • 0 / 0
ELLE, Вы меня не поняли ). Я имел ввиду, как правильно обзываются боты Google, яндекса. И как убедится в правильности названия Бота бингбот. Добавил в роботс User-agent: bingbot - побоку
« Последнее редактирование: 12.12.2011, 13:44:53 от kunev »
*

ELLE

  • Глобальный модератор
  • 4513
  • 892 / 0
ELLE, Вы меня не поняли ). Я имел ввиду, как правильно обзываются боты Google, яндекса. И как убедится в правильности названия Бота бингбот
эм, кажется вопрос стоял так
Цитировать
ELLE , кстати как грамотно закрыть в роботс поисковики в отдельности?
называются так-
Yandex
Googlebot
BingBot

кстати, у Google есть еще картиночный бот
*

kunev

  • Захожу иногда
  • 118
  • 0 / 0
ELLE, ссори у меня уже кругом голова идёт.  Добавил в Роботс
User-agent: bingbot
User-agent: bingbot/2.0
Disallow: /administrator/
Disallow: /cache/
Disallow: /images/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /support/

в логах продолжает писать

207.46.13.117 - - [12/Dec/2011:11:48:43 +0200] "GET HTTP/1.0" 200 96399 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
207.46.195.237 - - [12/Dec/2011:11:48:43 +0200] "GET HTTP/1.0" 200 113360 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
207.46.195.237 - - [12/Dec/2011:11:48:53 +0200] "GET ?keyword=%D0%B4%D0%BE HTTP/1.0" 200 110997 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
207.46.13.117 - - [12/Dec/2011:11:49:13 +0200] "GET HTTP/1.0" 200 111935 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"

Бот сканит человекоподобные урлы (

 >:(
*

ELLE

  • Глобальный модератор
  • 4513
  • 892 / 0
ELLE, ссори у меня уже кругом голова идёт.  Добавил в Роботс
User-agent: bingbot
User-agent: bingbot/2.0
а если так
Код
User-agent: BingBot
Disallow: /
*

kunev

  • Захожу иногда
  • 118
  • 0 / 0
всё равно пишет в логах  :'( капец просто. Оставил только две строчки в надежде, что он всё перекроет - не выходит. Блин может вся трабла в названии бота или как его по IP написать. Уже его корешь MJ12bot подтянулся ((
« Последнее редактирование: 12.12.2011, 14:01:01 от kunev »
*

CTPZ

  • Захожу иногда
  • 305
  • 24 / 5
Закрой доступ для всех ботов кроме Google и Яндекса или запрети доступ к сайту по IP
*

kunev

  • Захожу иногда
  • 118
  • 0 / 0
CTPZ, делал так

SetEnvIfNoCase User-Agent "^igdeSpyder" search_bot
SetEnvIfNoCase User-Agent "^Robot" search_bot
SetEnvIfNoCase User-Agent "^msnbot" search_bot
SetEnvIfNoCase User-Agent "^Aport" search_bot
SetEnvIfNoCase User-Agent "^Mail" search_bot
SetEnvIfNoCase User-Agent "^bot" search_bot
SetEnvIfNoCase User-Agent "^spider" search_bot
SetEnvIfNoCase User-Agent "^php" search_bot
SetEnvIfNoCase User-Agent "^Parser" search_bot
SetEnvIfNoCase User-Agent "^bingbot/2.0" search_bot
SetEnvIfNoCase User-Agent "^bingbot" search_bot

<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
Deny from env=search_bot
</Limit>

и так

<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
Deny from 65.52.
Deny from 207.46.
</Limit>

до одного места (((

*

CTPZ

  • Захожу иногда
  • 305
  • 24 / 5
Запрещай при помощи php
Код: php
<?php
if ($_SERVER['REMOTE_ADDR'] != '207.46.13.117' || $_SERVER['REMOTE_ADDR'] != '207.46.195.237')
//Template
else
echo 'Go fingering bing bot'
?>


Если IP много, можно цикл выполнять.
« Последнее редактирование: 12.12.2011, 14:15:03 от CTPZ »
*

kunev

  • Захожу иногда
  • 118
  • 0 / 0
CTPZ, это уже интересно ). Вопрос нужно блокировать подсети, замечал что они с разных IP заходят, дабы не плодить условий. НУ и самый глупый вопрос, куда вставлять код? )
*

ELLE

  • Глобальный модератор
  • 4513
  • 892 / 0
вот здесь посмотрите должно помочь
в .htaccess по моему вы не то блокируете, а именно
Цитировать
<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
Deny from 65.52.
Deny from 207.46.
</Limit>


Crawl-delay он все таки понимает, поставьте ему 10
*

CTPZ

  • Захожу иногда
  • 305
  • 24 / 5
CTPZ, это уже интересно ). Вопрос нужно блокировать подсети, замечал что они с разных IP заходят, дабы не плодить условий. НУ и самый глупый вопрос, куда вставлять код? )

Вариант 1
index.php переименовываешь в old-index.php

Создаешь файл index.php и пишешь:

Код: php
<?php
if ($_SERVER['REMOTE_ADDR'] != '207.46.13.117' || $_SERVER['REMOTE_ADDR'] != '207.46.195.237');
?>
index.php
<?php include 'old-index.php'; ?>
<?php else
echo 'Go fingering bing bot';
?>

Вариант 2:
Содержимое index.php изменяешь следующим образом:
Код: php
<?php
if ($_SERVER['REMOTE_ADDR'] != '207.46.13.117' || $_SERVER['REMOTE_ADDR'] != '207.46.195.237')?>
<?php else
echo 'Go fingering bing bot';
?>
где index.php - старый код.
*

kunev

  • Захожу иногда
  • 118
  • 0 / 0
ELLE, спасибо, за ссылки, оказывается не один я этим страдаю. сейчас разные варианты рассматриваю, сейчас боты крайне редко прослеживаю, т.к. пользователи повалили.

CTPZ, интересный вариант )

Спасибо Всем ++, позже обязательно отпишусь.



*

kunev

  • Захожу иногда
  • 118
  • 0 / 0
CTPZ, не запускается вообще ( белый экран
*

CTPZ

  • Захожу иногда
  • 305
  • 24 / 5
Какое из двух?
*

kostet7

  • Захожу иногда
  • 53
  • 3 / 0
  • Когда сфоткают нормально, тогда и будет аватар
У меня вообще пол дня бингбот каждую секунду ломился в админку. Что ему там надо было?
На производительность сайта вроде не повлияло, но нагрузку на сервак дало около 8-10 процентов на процессор на скале сервере на клодо. Потому и заметил, что пришел отчет, а там использовано процессорного времени в 7 раз больше чем обычно.
« Последнее редактирование: 17.09.2012, 09:33:39 от kostet7 »
*

wishlight

  • Живу я здесь
  • 4904
  • 289 / 1
  • от 150 руб быстрый хостинг в Москве
подсеть забаньте что ли...
*

YaBlogo

  • Новичок
  • 1
  • 0 / 0
Re: Атакует поисковый робот! bingbot
« Ответ #21 : 19.03.2020, 14:54:40 »
Так удалось избавиться от наглого бота или нет?
*

SeBun

  • Живу я здесь
  • 3993
  • 256 / 4
  • @SeBun48
Re: Атакует поисковый робот! bingbot
« Ответ #22 : 19.03.2020, 22:05:52 »
Так удалось избавиться от наглого бота или нет?
А почему вы интересуетесь? С тех пор 9 лет прошло, если что...  ::)
Оказываю услуги по Joomla | Миграция на Joomla 3.x | Сопровождение | IT-аутсорсинг | Недорогие домены и хостинг
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться
 

В руки попал архив с программами для продвижения - помогите разобраться

Автор dm-krv

Ответов: 8
Просмотров: 744
Последний ответ 06.01.2018, 12:30:53
от ChaosHead
Помогите побороть дубли title и description на страницах ( не стандартные )

Автор 40477

Ответов: 9
Просмотров: 1849
Последний ответ 15.12.2016, 20:14:18
от Litop
Помогите решить проблему с индексацией

Автор alexanderuss

Ответов: 36
Просмотров: 2736
Последний ответ 06.02.2016, 11:44:11
от Missile
Сайт не двигается в поиске! Помогите!

Автор Ruslanm

Ответов: 8
Просмотров: 1142
Последний ответ 29.01.2016, 23:06:31
от dmitry_stas
Как закрыть от поисковиков материалы на главной помогите

Автор guloc55

Ответов: 1
Просмотров: 1041
Последний ответ 19.04.2012, 14:51:43
от skai