0 Пользователей и 1 Гость просматривают эту тему.
  • 18 Ответов
  • 1277 Просмотров
*

mnogoto4ka

  • Осваиваюсь на форуме
  • 136
  • 0
Друзья, подскажите, последнее время мой сайт посещает большое количество поисковых (а может быть и нет) ботов. Тем самым нагрузка на хостинг возрасла и превышает норму. Например, в access_log очень много записей вот от такого бота: AhrefsBot/5.0; +http://ahrefs.com/robot/. Закрыл ему доступ по IP в .htaccess, но не помогает, он так же ходит на сайт. Кроме этого еще много других. Подскажите, как правильно закрыть доступ этим "типам".
*

voland

  • Профи
  • 9524
  • 422
  • Эта строка съедает место на вашем мониторе
Re: Закрыть путь на сайт ботам
« Ответ #1 : 13.05.2015, 21:28:38 »
Всем ботам?
Можно просто удалить сайт из интернета и нет проблем.
*

mnogoto4ka

  • Осваиваюсь на форуме
  • 136
  • 0
Re: Закрыть путь на сайт ботам
« Ответ #2 : 13.05.2015, 21:33:43 »
Нет, тем, которые нагружают сервер своим чрезмерным посещением.
*

mnogoto4ka

  • Осваиваюсь на форуме
  • 136
  • 0
Re: Закрыть путь на сайт ботам
« Ответ #3 : 13.05.2015, 21:48:29 »
А по поводу удаления сайта, я считаю, что сайты создаются не для ботов (или, по крайней мере, не все сайты создаются для ботов). Мой сайт сделан для школьников, родителей и учителей и им не нужно искать его в поисковиках, все кому нужен мой сайт, о нем знают. И мне не нужны поисковые роботы на сайте. Для этого я и обращаюсь к специалистам за консультацией.
*

voland

  • Профи
  • 9524
  • 422
  • Эта строка съедает место на вашем мониторе
Re: Закрыть путь на сайт ботам
« Ответ #4 : 13.05.2015, 22:03:21 »
Ну я и говорю - убрать его из интернета.
Пусть заходят через локальную сеть школы.
*

mnogoto4ka

  • Осваиваюсь на форуме
  • 136
  • 0
Re: Закрыть путь на сайт ботам
« Ответ #5 : 13.05.2015, 22:05:44 »
Хорошо, я подумаю над вашим советом. А еще будут варианты?
*

voland

  • Профи
  • 9524
  • 422
  • Эта строка съедает место на вашем мониторе
Re: Закрыть путь на сайт ботам
« Ответ #6 : 13.05.2015, 22:08:08 »
Нет. Не все роботы представляются роботами, и не все можно заблокировать.
Интернет - открытая среда, по крайне мере, пока еще.
*

capricorn

  • Практически профи
  • 1687
  • 105
Re: Закрыть путь на сайт ботам
« Ответ #7 : 13.05.2015, 22:26:31 »
а с чего вы взяли, что нагрузку, превышающую лимит тарифа, именно боты вызывают?
« Последнее редактирование: 13.05.2015, 22:33:50 от capricorn »
*

mnogoto4ka

  • Осваиваюсь на форуме
  • 136
  • 0
Re: Закрыть путь на сайт ботам
« Ответ #8 : 13.05.2015, 22:40:05 »
Началось все с письма от хостера: Здравствуйте!

Ваш аккаунт ......... оказывает чрезмерную нагрузку на сервер.

Нагрузка на CPU характеризует суммарное время, затраченное процессорами сервера на обработку процессов аккаунта. Для снижения нагрузки следует оптимизировать скрипты, исключить выполнение процессов, требующих значительных вычислительных ресурсов.

Нагрузка на MySQL характеризует суммарное время, затраченное на обработку запросов к базам данных аккаунта. Для снижения нагрузки на MySQL следует оптимизировать базу данных и запросы к ней, исключить чрезмерное количество запросов, а также длительно обрабатываемые запросы.

По данным статистики нагрузка на сервер:
Дата, нагрузка на CPU, нагрузка на MySQL
2015-05-08   128.38cp   358
2015-05-07   56.16cp   146
2015-05-03   74.35cp   93
2015-04-28   58.32cp   163
2015-04-27   533.87cp   2722
2015-04-26   59.29cp   170
2015-04-17   64.78cp   91
- что превышает допустимые значения на текущем тарифном плане: нагрузка на CPU до 50 cp, MySQL до 1000.

Статистически, рост нагрузки чаще всего возникает по одной из следующих причин:
1) рост посещаемости;
2) использование неоптимизированных скриптов;
3) отключение кэширования;
4) действие вредоносного кода;
5) нежелательная активность поисковых или иных ботов;
6) увеличение объёма обрабатываемых данных.

Проанализировав логи, я увидел большую посещаемость одного из сайтов. Решил уменьшить посещаемость, запретив некоторым роботам ходить на сайт.
*

voland

  • Профи
  • 9524
  • 422
  • Эта строка съедает место на вашем мониторе
Re: Закрыть путь на сайт ботам
« Ответ #9 : 13.05.2015, 22:53:18 »
Хостера в студию.
*

mnogoto4ka

  • Осваиваюсь на форуме
  • 136
  • 0
Re: Закрыть путь на сайт ботам
« Ответ #10 : 13.05.2015, 22:55:06 »
Timeweb
*

capricorn

  • Практически профи
  • 1687
  • 105
Re: Закрыть путь на сайт ботам
« Ответ #11 : 13.05.2015, 23:44:21 »
Вы в те, дни когда нагрузка поперла, не работали в админке, особенно:

Цитировать
2015-04-27   533.87cp   2722

Сложно сказать, в чем причина. Их может быть много. Проще всего пересоздать заново БД. Скорее всего она повреждена.
« Последнее редактирование: 13.05.2015, 23:47:58 от capricorn »
*

mnogoto4ka

  • Осваиваюсь на форуме
  • 136
  • 0
Re: Закрыть путь на сайт ботам
« Ответ #12 : 14.05.2015, 00:03:37 »
В Админке бываю практически ежедневно. Такой скачок как 27.04 был всего один раз. Больше не наблюдается. А вот нагрузка на CPU каждый день превышает норму.
*

capricorn

  • Практически профи
  • 1687
  • 105
Re: Закрыть путь на сайт ботам
« Ответ #13 : 14.05.2015, 00:21:29 »
У вас есть на сайте ЧПУ (SEF) компоненты?
*

mnogoto4ka

  • Осваиваюсь на форуме
  • 136
  • 0
Re: Закрыть путь на сайт ботам
« Ответ #14 : 14.05.2015, 00:24:25 »
Да, включены
*

mnogoto4ka

  • Осваиваюсь на форуме
  • 136
  • 0
Re: Закрыть путь на сайт ботам
« Ответ #15 : 14.05.2015, 00:25:00 »
Настройки SEO
Включить SEF (ЧПУ)-Да
*

Очередной вебмастер

  • Завсегдатай
  • 784
  • 55
  • лысый умный дядя
Re: Закрыть путь на сайт ботам
« Ответ #16 : 14.05.2015, 01:26:17 »
Проблема знакома, чаще всего с таким же сталкиваются на Reg.ru
Неплохо помогает справляться в данном случае Akeeba Admin Tools professionals со своим генератором .htaccess =)
--------
Блог о Joomla
----------
---------
Помог ответ - жми плюс!
*

vegushka

  • Завсегдатай
  • 535
  • 35
  • Мажьте лоб вазеленкой
Re: Закрыть путь на сайт ботам
« Ответ #17 : 14.05.2015, 11:34:07 »
Товарищ по несчастью :) почитай мою ветку Бот Tapatalk грузит сервер вдруг поможет. Если что - пиши в личку.
ненавижу icetheme, обожаю Rockettheme
Ваше спасибо - в репу, а лучше на Яндекс 41001140731879
*

mnogoto4ka

  • Осваиваюсь на форуме
  • 136
  • 0
Re: Закрыть путь на сайт ботам
« Ответ #18 : 15.05.2015, 00:41:40 »
Товарищ по несчастью :) почитай мою ветку Бот Tapatalk грузит сервер вдруг поможет. Если что - пиши в личку.
Спасибо большое. Обязательно напишу результат. Пока наблюдаю и слежу за логами.
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться
 

Ребят, подскажите модуль (расширение) для добавления на сайт Слайда с новостями

Автор Ирина Поехали

Ответов: 1
Просмотров: 88
Последний ответ 13.09.2017, 11:07:36
от NewUsers
Медленно загружается сайт

Автор katerina37

Ответов: 17
Просмотров: 389
Последний ответ 12.05.2017, 16:28:39
от dmitry_stas
Ищу специалиста на Joomla 2.5.9 + К2, который приведет сайт в порядок

Автор RuslanKazan

Ответов: 0
Просмотров: 304
Последний ответ 24.09.2016, 01:03:03
от RuslanKazan
Исчезает сайт

Автор dimasan57

Ответов: 0
Просмотров: 284
Последний ответ 17.01.2016, 14:38:10
от dimasan57
Как при помощи Developers Tools найти из какого файла компонента выводится текст на сайт?

Автор vovchikku

Ответов: 8
Просмотров: 408
Последний ответ 15.12.2015, 10:45:34
от vovchikku