Закрыть путь на сайт ботам - Joomla 2.5: Настройка и оптимизация

Друзья, подскажите, последнее время мой сайт посещает большое количество поисковых (а может быть и нет) ботов. Тем самым нагрузка на хостинг возрасла и превышает норму. Например, в access_log очень много записей вот от такого бота: AhrefsBot/5.0; +http://ahrefs.com/robot/. Закрыл ему доступ по IP в .htaccess, но не помогает, он так же ходит на сайт. Кроме этого еще много других. Подскажите, как правильно закрыть доступ этим "типам".

Всем ботам?
Можно просто удалить сайт из интернета и нет проблем.

Нет, тем, которые нагружают сервер своим чрезмерным посещением.

А по поводу удаления сайта, я считаю, что сайты создаются не для ботов (или, по крайней мере, не все сайты создаются для ботов). Мой сайт сделан для школьников, родителей и учителей и им не нужно искать его в поисковиках, все кому нужен мой сайт, о нем знают. И мне не нужны поисковые роботы на сайте. Для этого я и обращаюсь к специалистам за консультацией.

Ну я и говорю - убрать его из интернета.
Пусть заходят через локальную сеть школы.

Хорошо, я подумаю над вашим советом. А еще будут варианты?

Нет. Не все роботы представляются роботами, и не все можно заблокировать.
Интернет - открытая среда, по крайне мере, пока еще.

а с чего вы взяли, что нагрузку, превышающую лимит тарифа, именно боты вызывают?

Началось все с письма от хостера: Здравствуйте!

Ваш аккаунт ......... оказывает чрезмерную нагрузку на сервер.

Нагрузка на CPU характеризует суммарное время, затраченное процессорами сервера на обработку процессов аккаунта. Для снижения нагрузки следует оптимизировать скрипты, исключить выполнение процессов, требующих значительных вычислительных ресурсов.

Нагрузка на MySQL характеризует суммарное время, затраченное на обработку запросов к базам данных аккаунта. Для снижения нагрузки на MySQL следует оптимизировать базу данных и запросы к ней, исключить чрезмерное количество запросов, а также длительно обрабатываемые запросы.

По данным статистики нагрузка на сервер:
Дата, нагрузка на CPU, нагрузка на MySQL
2015-05-08   128.38cp   358
2015-05-07   56.16cp   146
2015-05-03   74.35cp   93
2015-04-28   58.32cp   163
2015-04-27   533.87cp   2722
2015-04-26   59.29cp   170
2015-04-17   64.78cp   91
- что превышает допустимые значения на текущем тарифном плане: нагрузка на CPU до 50 cp, MySQL до 1000.

Статистически, рост нагрузки чаще всего возникает по одной из следующих причин:
1) рост посещаемости;
2) использование неоптимизированных скриптов;
3) отключение кэширования;
4) действие вредоносного кода;
5) нежелательная активность поисковых или иных ботов;
6) увеличение объёма обрабатываемых данных.

Проанализировав логи, я увидел большую посещаемость одного из сайтов. Решил уменьшить посещаемость, запретив некоторым роботам ходить на сайт.

Хостера в студию.

Timeweb

Вы в те, дни когда нагрузка поперла, не работали в админке, особенно:

2015-04-27   533.87cp   2722

Сложно сказать, в чем причина. Их может быть много. Проще всего пересоздать заново БД. Скорее всего она повреждена.

В Админке бываю практически ежедневно. Такой скачок как 27.04 был всего один раз. Больше не наблюдается. А вот нагрузка на CPU каждый день превышает норму.

У вас есть на сайте ЧПУ (SEF) компоненты?

Да, включены

Настройки SEO
Включить SEF (ЧПУ)-Да

Проблема знакома, чаще всего с таким же сталкиваются на Reg.ru
Неплохо помогает справляться в данном случае Akeeba Admin Tools professionals со своим генератором .htaccess =)

Товарищ по несчастью почитай мою ветку Бот Tapatalk грузит сервер вдруг поможет. Если что - пиши в личку.

Товарищ по несчастью почитай мою ветку Бот Tapatalk грузит сервер вдруг поможет. Если что - пиши в личку.

Спасибо большое. Обязательно напишу результат. Пока наблюдаю и слежу за логами.