Форум русской поддержки Joomla!® CMS
06.12.2016, 16:15:08 *
Добро пожаловать, Гость. Пожалуйста, войдите или зарегистрируйтесь.
Вам не пришло письмо с кодом активации?

Войти
   
   Начало   Поиск Joomla 3.0 FAQ Joomla 2.5 FAQ Joomla 1.5 FAQ Правила форума Новости Joomla Реклама Войти Регистрация Помощь  
Страниц: [1]   Вниз
  Добавить закладку  |  Печать  
Автор

Закрыть путь на сайт ботам

 (Прочитано 805 раз)
0 Пользователей и 1 Гость смотрят эту тему.
mnogoto4ka
Осваиваюсь на форуме
***

Репутация: +0/-0
Offline Offline

Сообщений: 136


« : 13.05.2015, 22:27:01 »

Друзья, подскажите, последнее время мой сайт посещает большое количество поисковых (а может быть и нет) ботов. Тем самым нагрузка на хостинг возрасла и превышает норму. Например, в access_log очень много записей вот от такого бота: AhrefsBot/5.0; +http://ahrefs.com/robot/. Закрыл ему доступ по IP в .htaccess, но не помогает, он так же ходит на сайт. Кроме этого еще много других. Подскажите, как правильно закрыть доступ этим "типам".
Записан
voland
Профи
********

Репутация: +487/-86
Online Online

Пол: Мужской
Сообщений: 8711


любит наш народ всякое гавно...


« Ответ #1 : 13.05.2015, 22:28:38 »

Всем ботам?
Можно просто удалить сайт из интернета и нет проблем.
Записан
mnogoto4ka
Осваиваюсь на форуме
***

Репутация: +0/-0
Offline Offline

Сообщений: 136


« Ответ #2 : 13.05.2015, 22:33:43 »

Нет, тем, которые нагружают сервер своим чрезмерным посещением.
Записан
mnogoto4ka
Осваиваюсь на форуме
***

Репутация: +0/-0
Offline Offline

Сообщений: 136


« Ответ #3 : 13.05.2015, 22:48:29 »

А по поводу удаления сайта, я считаю, что сайты создаются не для ботов (или, по крайней мере, не все сайты создаются для ботов). Мой сайт сделан для школьников, родителей и учителей и им не нужно искать его в поисковиках, все кому нужен мой сайт, о нем знают. И мне не нужны поисковые роботы на сайте. Для этого я и обращаюсь к специалистам за консультацией.
Записан
voland
Профи
********

Репутация: +487/-86
Online Online

Пол: Мужской
Сообщений: 8711


любит наш народ всякое гавно...


« Ответ #4 : 13.05.2015, 23:03:21 »

Ну я и говорю - убрать его из интернета.
Пусть заходят через локальную сеть школы.
Записан
mnogoto4ka
Осваиваюсь на форуме
***

Репутация: +0/-0
Offline Offline

Сообщений: 136


« Ответ #5 : 13.05.2015, 23:05:44 »

Хорошо, я подумаю над вашим советом. А еще будут варианты?
Записан
voland
Профи
********

Репутация: +487/-86
Online Online

Пол: Мужской
Сообщений: 8711


любит наш народ всякое гавно...


« Ответ #6 : 13.05.2015, 23:08:08 »

Нет. Не все роботы представляются роботами, и не все можно заблокировать.
Интернет - открытая среда, по крайне мере, пока еще.
Записан
capricorn
Живу я здесь
******

Репутация: +86/-0
Offline Offline

Сообщений: 1413


« Ответ #7 : 13.05.2015, 23:26:31 »

а с чего вы взяли, что нагрузку, превышающую лимит тарифа, именно боты вызывают?
« Последнее редактирование: 13.05.2015, 23:33:50 от capricorn » Записан
mnogoto4ka
Осваиваюсь на форуме
***

Репутация: +0/-0
Offline Offline

Сообщений: 136


« Ответ #8 : 13.05.2015, 23:40:05 »

Началось все с письма от хостера: Здравствуйте!

Ваш аккаунт ......... оказывает чрезмерную нагрузку на сервер.

Нагрузка на CPU характеризует суммарное время, затраченное процессорами сервера на обработку процессов аккаунта. Для снижения нагрузки следует оптимизировать скрипты, исключить выполнение процессов, требующих значительных вычислительных ресурсов.

Нагрузка на MySQL характеризует суммарное время, затраченное на обработку запросов к базам данных аккаунта. Для снижения нагрузки на MySQL следует оптимизировать базу данных и запросы к ней, исключить чрезмерное количество запросов, а также длительно обрабатываемые запросы.

По данным статистики нагрузка на сервер:
Дата, нагрузка на CPU, нагрузка на MySQL
2015-05-08   128.38cp   358
2015-05-07   56.16cp   146
2015-05-03   74.35cp   93
2015-04-28   58.32cp   163
2015-04-27   533.87cp   2722
2015-04-26   59.29cp   170
2015-04-17   64.78cp   91
- что превышает допустимые значения на текущем тарифном плане: нагрузка на CPU до 50 cp, MySQL до 1000.

Статистически, рост нагрузки чаще всего возникает по одной из следующих причин:
1) рост посещаемости;
2) использование неоптимизированных скриптов;
3) отключение кэширования;
4) действие вредоносного кода;
5) нежелательная активность поисковых или иных ботов;
6) увеличение объёма обрабатываемых данных.

Проанализировав логи, я увидел большую посещаемость одного из сайтов. Решил уменьшить посещаемость, запретив некоторым роботам ходить на сайт.
Записан
voland
Профи
********

Репутация: +487/-86
Online Online

Пол: Мужской
Сообщений: 8711


любит наш народ всякое гавно...


« Ответ #9 : 13.05.2015, 23:53:18 »

Хостера в студию.
Записан
mnogoto4ka
Осваиваюсь на форуме
***

Репутация: +0/-0
Offline Offline

Сообщений: 136


« Ответ #10 : 13.05.2015, 23:55:06 »

Timeweb
Записан
capricorn
Живу я здесь
******

Репутация: +86/-0
Offline Offline

Сообщений: 1413


« Ответ #11 : 14.05.2015, 00:44:21 »

Вы в те, дни когда нагрузка поперла, не работали в админке, особенно:

Цитировать
2015-04-27   533.87cp   2722

Сложно сказать, в чем причина. Их может быть много. Проще всего пересоздать заново БД. Скорее всего она повреждена.
« Последнее редактирование: 14.05.2015, 00:47:58 от capricorn » Записан
mnogoto4ka
Осваиваюсь на форуме
***

Репутация: +0/-0
Offline Offline

Сообщений: 136


« Ответ #12 : 14.05.2015, 01:03:37 »

В Админке бываю практически ежедневно. Такой скачок как 27.04 был всего один раз. Больше не наблюдается. А вот нагрузка на CPU каждый день превышает норму.
Записан
capricorn
Живу я здесь
******

Репутация: +86/-0
Offline Offline

Сообщений: 1413


« Ответ #13 : 14.05.2015, 01:21:29 »

У вас есть на сайте ЧПУ (SEF) компоненты?
Записан
mnogoto4ka
Осваиваюсь на форуме
***

Репутация: +0/-0
Offline Offline

Сообщений: 136


« Ответ #14 : 14.05.2015, 01:24:25 »

Да, включены
Записан
mnogoto4ka
Осваиваюсь на форуме
***

Репутация: +0/-0
Offline Offline

Сообщений: 136


« Ответ #15 : 14.05.2015, 01:25:00 »

Настройки SEO
Включить SEF (ЧПУ)-Да
Записан
Очередной вебмастер
Завсегдатай
*****

Репутация: +54/-0
Offline Offline

Пол: Мужской
Сообщений: 790


лысый умный дядя


« Ответ #16 : 14.05.2015, 02:26:17 »

Проблема знакома, чаще всего с таким же сталкиваются на Reg.ru
Неплохо помогает справляться в данном случае Akeeba Admin Tools professionals со своим генератором .htaccess =)
Записан
vegushka
Завсегдатай
*****

Репутация: +36/-1
Offline Offline

Пол: Мужской
Сообщений: 542


Мажьте лоб вазеленкой


« Ответ #17 : 14.05.2015, 12:34:07 »

Товарищ по несчастью Azn почитай мою ветку Бот Tapatalk грузит сервер вдруг поможет. Если что - пиши в личку.
Записан
mnogoto4ka
Осваиваюсь на форуме
***

Репутация: +0/-0
Offline Offline

Сообщений: 136


« Ответ #18 : 15.05.2015, 01:41:40 »

Товарищ по несчастью Azn почитай мою ветку Бот Tapatalk грузит сервер вдруг поможет. Если что - пиши в личку.
Спасибо большое. Обязательно напишу результат. Пока наблюдаю и слежу за логами.
Записан
Страниц: [1]   Вверх
  Добавить закладку  |  Печать  
 
Перейти в:  

Powered by SMF 1.1.21 | SMF © 2006, Simple Machines

Joomlaforum.ru is not affiliated with or endorsed by the Joomla! Project or Open Source Matters.
The Joomla! name and logo is used under a limited license granted by Open Source Matters
the trademark holder in the United States and other countries.

LiveInternet