Здравствуйте.
Мне "в наследство" достался сайт школы, разбираюсь с нуля (учитель математики), так что не судите строго, если сморожу глупость.
Сайт на Joomla 1.0.12, я уже поняла, что это старье, но пока что есть. Последние 2 года на сайт только добавлялись новости никаких расширений не ставилось. Я посмотрела в диспетчере файлов - за 2 года новых не появилось (только картинки к новостям в определенной папке). Посещаемость низкая. И вдруг - скачок нагрузки на CPU (в десятки раз!) - и хостер отрубает сайт.
По данных хостера пиковую нагрузку создают процессы
httpd [mysite] [/rukovod/joxypygoq-916.html]
httpd [mysite] [/rukovod/porawaso-639.html]
httpd [mysite] [/rukovod/vizakamitypaq-168.html]
Но! На сайте нет папки "rukovod"! И всех этих файлов, соответственно, тоже.
Я нашла в cpanel журнал доступа, оказалось, что это поисковые боты, если я правильно понимаю содержание подобных строк:
157.55.39.112 - - [25/Nov/2014:14:49:09 +0300] "GET /rukovod/nuloxevukuf-2438.html HTTP/1.0" 200 - "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
Особенно усердствуют вот этот bingbot и Google.
Я сделала вот что:
1. В robots.txt прописала
User-agent: *
Disallow: /
Сначала писала для конкретных ботов, но толку не было - заходили все равно. И сейчас заходят, ничего не изменилось. Что я делаю не так? Как правильно написать запрет для поисковых ботов?
2. В файле .htaccess в папке public_html пробовала писать разное (что нашла на форумах):
SetEnvIfNoCase User-Agent "*bingbot" badbingbot
Deny from env=badbingbot
и
RewriteCond %{USER_AGENT} Googlebot
RewriteRule .* - [F]
и
# список юзерагентов которым мы запрещаем доступ
SetEnvIfNoCase User-Agent JS-Kit bad_bot
SetEnvIfNoCase User-Agent PostRank bad_bot
SetEnvIfNoCase User-Agent Python-urllib bad_bot
SetEnvIfNoCase User-Agent UnwindFetchor bad_bot
SetEnvIfNoCase User-Agent facebookexternalhit bad_bot
SetEnvIfNoCase User-Agent TweetmemeBot bad_bot
SetEnvIfNoCase User-Agent Butterfly bad_bot
SetEnvIfNoCase User-Agent MFE_expand bad_bot
SetEnvIfNoCase User-Agent Java bad_bot
SetEnvIfNoCase User-Agent Summify bad_bot
SetEnvIfNoCase User-Agent MetaURI bad_bot
SetEnvIfNoCase User-Agent FlipboardProxy bad_bot
SetEnvIfNoCase User-Agent ScribdReader bad_bot
SetEnvIfNoCase User-Agent RockMelt bad_bot
SetEnvIfNoCase User-Agent InAGist bad_bot
SetEnvIfNoCase User-Agent NING bad_bot
SetEnvIfNoCase User-Agent TweetedTimes bad_bot
SetEnvIfNoCase User-Agent PaperLiBot bad_bot
SetEnvIfNoCase User-Agent Library bad_bot
SetEnvIfNoCase User-Agent Ezooms bad_bot
SetEnvIfNoCase User-Agent strawberryj bad_bot
SetEnvIfNoCase User-Agent Scooper bad_bot
SetEnvIfNoCase User-Agent Ahrefs bad_bot
SetEnvIfNoCase User-Agent Spider bad_bot
SetEnvIfNoCase User-Agent None bad_bot
SetEnvIfNoCase User-Agent EventMachine bad_bot
SetEnvIfNoCase User-Agent aiHitBot bad_bot
SetEnvIfNoCase User-Agent SolomonoBot bad_bot
SetEnvIfNoCase User-Agent SearchBot bad_bot
SetEnvIfNoCase User-Agent Wget bad_bot
SetEnvIfNoCase User-Agent Crawler bad_bot
SetEnvIfNoCase User-Agent bingbot bad_bot
SetEnvIfNoCase User-Agent Googlebot bad_bot
SetEnvIfNoCase User-Agent bingbot bad_bot
Deny from env=bad_bot
и все бес толку ((
3. Пробовала в том же .htaccess заблокировать самые популярные IP. И вот здесь самое непонятное - когда я пробы ради пишу туда свой IP - все работает, сайт мне недоступен. А когда выписываю IP, с которых заходят эти боты - они продолжают заходить как раньше!
В cPanel есть диспетчер запрещенных IP-адресов, с ним точно та же ерунда.
Сейчас таблица последних посетителей выглядит так:

Все эти IP - заблокированы. Папки rukovod на сайте нет. Что делать? У меня 2 дня, чтобы исправить ситуацию.