0 Пользователей и 1 Гость просматривают эту тему.
  • 18 Ответов
  • 1580 Просмотров
*

mnogoto4ka

  • Захожу иногда
  • 138
  • 0 / 0
Друзья, подскажите, последнее время мой сайт посещает большое количество поисковых (а может быть и нет) ботов. Тем самым нагрузка на хостинг возрасла и превышает норму. Например, в access_log очень много записей вот от такого бота: AhrefsBot/5.0; +http://ahrefs.com/robot/. Закрыл ему доступ по IP в .htaccess, но не помогает, он так же ходит на сайт. Кроме этого еще много других. Подскажите, как правильно закрыть доступ этим "типам".
*

voland

  • Легенда
  • 10669
  • 568 / 111
  • Эта строка съедает место на вашем мониторе
Re: Закрыть путь на сайт ботам
« Ответ #1 : 13.05.2015, 21:28:38 »
Всем ботам?
Можно просто удалить сайт из интернета и нет проблем.
*

mnogoto4ka

  • Захожу иногда
  • 138
  • 0 / 0
Re: Закрыть путь на сайт ботам
« Ответ #2 : 13.05.2015, 21:33:43 »
Нет, тем, которые нагружают сервер своим чрезмерным посещением.
*

mnogoto4ka

  • Захожу иногда
  • 138
  • 0 / 0
Re: Закрыть путь на сайт ботам
« Ответ #3 : 13.05.2015, 21:48:29 »
А по поводу удаления сайта, я считаю, что сайты создаются не для ботов (или, по крайней мере, не все сайты создаются для ботов). Мой сайт сделан для школьников, родителей и учителей и им не нужно искать его в поисковиках, все кому нужен мой сайт, о нем знают. И мне не нужны поисковые роботы на сайте. Для этого я и обращаюсь к специалистам за консультацией.
*

voland

  • Легенда
  • 10669
  • 568 / 111
  • Эта строка съедает место на вашем мониторе
Re: Закрыть путь на сайт ботам
« Ответ #4 : 13.05.2015, 22:03:21 »
Ну я и говорю - убрать его из интернета.
Пусть заходят через локальную сеть школы.
*

mnogoto4ka

  • Захожу иногда
  • 138
  • 0 / 0
Re: Закрыть путь на сайт ботам
« Ответ #5 : 13.05.2015, 22:05:44 »
Хорошо, я подумаю над вашим советом. А еще будут варианты?
*

voland

  • Легенда
  • 10669
  • 568 / 111
  • Эта строка съедает место на вашем мониторе
Re: Закрыть путь на сайт ботам
« Ответ #6 : 13.05.2015, 22:08:08 »
Нет. Не все роботы представляются роботами, и не все можно заблокировать.
Интернет - открытая среда, по крайне мере, пока еще.
*

capricorn

  • Завсегдатай
  • 1948
  • 118 / 3
Re: Закрыть путь на сайт ботам
« Ответ #7 : 13.05.2015, 22:26:31 »
а с чего вы взяли, что нагрузку, превышающую лимит тарифа, именно боты вызывают?
« Последнее редактирование: 13.05.2015, 22:33:50 от capricorn »
*

mnogoto4ka

  • Захожу иногда
  • 138
  • 0 / 0
Re: Закрыть путь на сайт ботам
« Ответ #8 : 13.05.2015, 22:40:05 »
Началось все с письма от хостера: Здравствуйте!

Ваш аккаунт ......... оказывает чрезмерную нагрузку на сервер.

Нагрузка на CPU характеризует суммарное время, затраченное процессорами сервера на обработку процессов аккаунта. Для снижения нагрузки следует оптимизировать скрипты, исключить выполнение процессов, требующих значительных вычислительных ресурсов.

Нагрузка на MySQL характеризует суммарное время, затраченное на обработку запросов к базам данных аккаунта. Для снижения нагрузки на MySQL следует оптимизировать базу данных и запросы к ней, исключить чрезмерное количество запросов, а также длительно обрабатываемые запросы.

По данным статистики нагрузка на сервер:
Дата, нагрузка на CPU, нагрузка на MySQL
2015-05-08   128.38cp   358
2015-05-07   56.16cp   146
2015-05-03   74.35cp   93
2015-04-28   58.32cp   163
2015-04-27   533.87cp   2722
2015-04-26   59.29cp   170
2015-04-17   64.78cp   91
- что превышает допустимые значения на текущем тарифном плане: нагрузка на CPU до 50 cp, MySQL до 1000.

Статистически, рост нагрузки чаще всего возникает по одной из следующих причин:
1) рост посещаемости;
2) использование неоптимизированных скриптов;
3) отключение кэширования;
4) действие вредоносного кода;
5) нежелательная активность поисковых или иных ботов;
6) увеличение объёма обрабатываемых данных.

Проанализировав логи, я увидел большую посещаемость одного из сайтов. Решил уменьшить посещаемость, запретив некоторым роботам ходить на сайт.
*

voland

  • Легенда
  • 10669
  • 568 / 111
  • Эта строка съедает место на вашем мониторе
Re: Закрыть путь на сайт ботам
« Ответ #9 : 13.05.2015, 22:53:18 »
Хостера в студию.
*

mnogoto4ka

  • Захожу иногда
  • 138
  • 0 / 0
Re: Закрыть путь на сайт ботам
« Ответ #10 : 13.05.2015, 22:55:06 »
Timeweb
*

capricorn

  • Завсегдатай
  • 1948
  • 118 / 3
Re: Закрыть путь на сайт ботам
« Ответ #11 : 13.05.2015, 23:44:21 »
Вы в те, дни когда нагрузка поперла, не работали в админке, особенно:

Цитировать
2015-04-27   533.87cp   2722

Сложно сказать, в чем причина. Их может быть много. Проще всего пересоздать заново БД. Скорее всего она повреждена.
« Последнее редактирование: 13.05.2015, 23:47:58 от capricorn »
*

mnogoto4ka

  • Захожу иногда
  • 138
  • 0 / 0
Re: Закрыть путь на сайт ботам
« Ответ #12 : 14.05.2015, 00:03:37 »
В Админке бываю практически ежедневно. Такой скачок как 27.04 был всего один раз. Больше не наблюдается. А вот нагрузка на CPU каждый день превышает норму.
*

capricorn

  • Завсегдатай
  • 1948
  • 118 / 3
Re: Закрыть путь на сайт ботам
« Ответ #13 : 14.05.2015, 00:21:29 »
У вас есть на сайте ЧПУ (SEF) компоненты?
*

mnogoto4ka

  • Захожу иногда
  • 138
  • 0 / 0
Re: Закрыть путь на сайт ботам
« Ответ #14 : 14.05.2015, 00:24:25 »
Да, включены
*

mnogoto4ka

  • Захожу иногда
  • 138
  • 0 / 0
Re: Закрыть путь на сайт ботам
« Ответ #15 : 14.05.2015, 00:25:00 »
Настройки SEO
Включить SEF (ЧПУ)-Да
*

Очередной вебмастер

  • Давно я тут
  • 768
  • 55 / 0
  • лысый умный дядя
Re: Закрыть путь на сайт ботам
« Ответ #16 : 14.05.2015, 01:26:17 »
Проблема знакома, чаще всего с таким же сталкиваются на Reg.ru
Неплохо помогает справляться в данном случае Akeeba Admin Tools professionals со своим генератором .htaccess =)
Сайты на Joomla, разработка и поддержка
----------
Помог ответ - жми плюс!
*

vegushka

  • Давно я тут
  • 523
  • 36 / 1
  • Мажьте лоб вазеленкой
Re: Закрыть путь на сайт ботам
« Ответ #17 : 14.05.2015, 11:34:07 »
Товарищ по несчастью :) почитай мою ветку Бот Tapatalk грузит сервер вдруг поможет. Если что - пиши в личку.
ненавижу icetheme, обожаю Rockettheme
Ваше спасибо - в репу, а лучше на Яндекс 41001140731879
*

mnogoto4ka

  • Захожу иногда
  • 138
  • 0 / 0
Re: Закрыть путь на сайт ботам
« Ответ #18 : 15.05.2015, 00:41:40 »
Товарищ по несчастью :) почитай мою ветку Бот Tapatalk грузит сервер вдруг поможет. Если что - пиши в личку.
Спасибо большое. Обязательно напишу результат. Пока наблюдаю и слежу за логами.
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться
 

Автоматическое сжатие фото при загрузке на сайт

Автор Amerikana

Ответов: 11
Просмотров: 396
Последний ответ 11.09.2019, 12:34:17
от Amerikana
Неправильно открывается сайт

Автор totalcolor

Ответов: 4
Просмотров: 587
Последний ответ 20.04.2019, 12:54:20
от draff
Прыгает/дергается/скачет сайт при внутренних переходах

Автор vegastk

Ответов: 7
Просмотров: 914
Последний ответ 16.06.2018, 13:07:49
от voras
Странный путь в админке к корню сайта

Автор Ragnarok

Ответов: 0
Просмотров: 701
Последний ответ 21.11.2017, 12:15:28
от Ragnarok
Ребят, подскажите модуль (расширение) для добавления на сайт Слайда с новостями

Автор Ирина Поехали

Ответов: 1
Просмотров: 497
Последний ответ 13.09.2017, 11:07:36
от NewUsers