Закрыть путь на сайт ботам

  • 18 Ответов
  • 1178 Просмотров

0 Пользователей и 1 Гость просматривают эту тему.

Друзья, подскажите, последнее время мой сайт посещает большое количество поисковых (а может быть и нет) ботов. Тем самым нагрузка на хостинг возрасла и превышает норму. Например, в access_log очень много записей вот от такого бота: AhrefsBot/5.0; +http://ahrefs.com/robot/. Закрыл ему доступ по IP в .htaccess, но не помогает, он так же ходит на сайт. Кроме этого еще много других. Подскажите, как правильно закрыть доступ этим "типам".

*

Онлайн voland

  • ********
  • 9939
  • [+]520 / [-]101
  • СКАЙП утерян! Пишите в телеграм @volandku
    • Просмотр профиля
    • webstudio.pro
Re: Закрыть путь на сайт ботам
« Ответ #1 : 13.05.2015, 23:28:38 »
Всем ботам?
Можно просто удалить сайт из интернета и нет проблем.

Re: Закрыть путь на сайт ботам
« Ответ #2 : 13.05.2015, 23:33:43 »
Нет, тем, которые нагружают сервер своим чрезмерным посещением.

Re: Закрыть путь на сайт ботам
« Ответ #3 : 13.05.2015, 23:48:29 »
А по поводу удаления сайта, я считаю, что сайты создаются не для ботов (или, по крайней мере, не все сайты создаются для ботов). Мой сайт сделан для школьников, родителей и учителей и им не нужно искать его в поисковиках, все кому нужен мой сайт, о нем знают. И мне не нужны поисковые роботы на сайте. Для этого я и обращаюсь к специалистам за консультацией.

*

Онлайн voland

  • ********
  • 9939
  • [+]520 / [-]101
  • СКАЙП утерян! Пишите в телеграм @volandku
    • Просмотр профиля
    • webstudio.pro
Re: Закрыть путь на сайт ботам
« Ответ #4 : 14.05.2015, 00:03:21 »
Ну я и говорю - убрать его из интернета.
Пусть заходят через локальную сеть школы.

Re: Закрыть путь на сайт ботам
« Ответ #5 : 14.05.2015, 00:05:44 »
Хорошо, я подумаю над вашим советом. А еще будут варианты?

*

Онлайн voland

  • ********
  • 9939
  • [+]520 / [-]101
  • СКАЙП утерян! Пишите в телеграм @volandku
    • Просмотр профиля
    • webstudio.pro
Re: Закрыть путь на сайт ботам
« Ответ #6 : 14.05.2015, 00:08:08 »
Нет. Не все роботы представляются роботами, и не все можно заблокировать.
Интернет - открытая среда, по крайне мере, пока еще.

*

Оффлайн capricorn

Re: Закрыть путь на сайт ботам
« Ответ #7 : 14.05.2015, 00:26:31 »
а с чего вы взяли, что нагрузку, превышающую лимит тарифа, именно боты вызывают?
« Последнее редактирование: 14.05.2015, 00:33:50 от capricorn »

Re: Закрыть путь на сайт ботам
« Ответ #8 : 14.05.2015, 00:40:05 »
Началось все с письма от хостера: Здравствуйте!

Ваш аккаунт ......... оказывает чрезмерную нагрузку на сервер.

Нагрузка на CPU характеризует суммарное время, затраченное процессорами сервера на обработку процессов аккаунта. Для снижения нагрузки следует оптимизировать скрипты, исключить выполнение процессов, требующих значительных вычислительных ресурсов.

Нагрузка на MySQL характеризует суммарное время, затраченное на обработку запросов к базам данных аккаунта. Для снижения нагрузки на MySQL следует оптимизировать базу данных и запросы к ней, исключить чрезмерное количество запросов, а также длительно обрабатываемые запросы.

По данным статистики нагрузка на сервер:
Дата, нагрузка на CPU, нагрузка на MySQL
2015-05-08   128.38cp   358
2015-05-07   56.16cp   146
2015-05-03   74.35cp   93
2015-04-28   58.32cp   163
2015-04-27   533.87cp   2722
2015-04-26   59.29cp   170
2015-04-17   64.78cp   91
- что превышает допустимые значения на текущем тарифном плане: нагрузка на CPU до 50 cp, MySQL до 1000.

Статистически, рост нагрузки чаще всего возникает по одной из следующих причин:
1) рост посещаемости;
2) использование неоптимизированных скриптов;
3) отключение кэширования;
4) действие вредоносного кода;
5) нежелательная активность поисковых или иных ботов;
6) увеличение объёма обрабатываемых данных.

Проанализировав логи, я увидел большую посещаемость одного из сайтов. Решил уменьшить посещаемость, запретив некоторым роботам ходить на сайт.

*

Онлайн voland

  • ********
  • 9939
  • [+]520 / [-]101
  • СКАЙП утерян! Пишите в телеграм @volandku
    • Просмотр профиля
    • webstudio.pro

Re: Закрыть путь на сайт ботам
« Ответ #10 : 14.05.2015, 00:55:06 »
Timeweb

*

Оффлайн capricorn

Re: Закрыть путь на сайт ботам
« Ответ #11 : 14.05.2015, 01:44:21 »
Вы в те, дни когда нагрузка поперла, не работали в админке, особенно:

Цитировать
2015-04-27   533.87cp   2722

Сложно сказать, в чем причина. Их может быть много. Проще всего пересоздать заново БД. Скорее всего она повреждена.
« Последнее редактирование: 14.05.2015, 01:47:58 от capricorn »

Re: Закрыть путь на сайт ботам
« Ответ #12 : 14.05.2015, 02:03:37 »
В Админке бываю практически ежедневно. Такой скачок как 27.04 был всего один раз. Больше не наблюдается. А вот нагрузка на CPU каждый день превышает норму.

*

Оффлайн capricorn

Re: Закрыть путь на сайт ботам
« Ответ #13 : 14.05.2015, 02:21:29 »
У вас есть на сайте ЧПУ (SEF) компоненты?

Re: Закрыть путь на сайт ботам
« Ответ #14 : 14.05.2015, 02:24:25 »
Да, включены

Re: Закрыть путь на сайт ботам
« Ответ #15 : 14.05.2015, 02:25:00 »
Настройки SEO
Включить SEF (ЧПУ)-Да

*

Оффлайн Очередной вебмастер

  • *****
  • 794
  • [+]55 / [-]0
  • лысый умный дядя
    • Просмотр профиля
    • Блог о Joomla
Re: Закрыть путь на сайт ботам
« Ответ #16 : 14.05.2015, 03:26:17 »
Проблема знакома, чаще всего с таким же сталкиваются на Reg.ru
Неплохо помогает справляться в данном случае Akeeba Admin Tools professionals со своим генератором .htaccess =)
Создание сайтов на Joomla. Продвижение. Интернет-реклама.
--------
Личный блог
----------
Мой VK
----------
Помог ответ - жми плюс!

*

Оффлайн vegushka

  • *****
  • 542
  • [+]36 / [-]1
  • Мажьте лоб вазеленкой
    • Просмотр профиля
Re: Закрыть путь на сайт ботам
« Ответ #17 : 14.05.2015, 13:34:07 »
Товарищ по несчастью :) почитай мою ветку Бот Tapatalk грузит сервер вдруг поможет. Если что - пиши в личку.
ненавижу icetheme, обожаю Rockettheme
Ваше спасибо - в репу, а лучше на Яндекс 41001140731879

Re: Закрыть путь на сайт ботам
« Ответ #18 : 15.05.2015, 02:41:40 »
Товарищ по несчастью :) почитай мою ветку Бот Tapatalk грузит сервер вдруг поможет. Если что - пиши в личку.
Спасибо большое. Обязательно напишу результат. Пока наблюдаю и слежу за логами.