0 Пользователей и 1 Гость просматривают эту тему.
  • 7 Ответов
  • 370 Просмотров
*

polezniy

  • Захожу иногда
  • 326
  • 0 / 0
Краулер нагружает сайт
« : 04.04.2021, 21:23:47 »
Доброго дня. Когда начинаю краулить сайт, сайт начинает тормозить. С чем это может быть связано? Как лечить?
*

ProtectYourSite

  • Живу я здесь
  • 2120
  • 116 / 4
  • Безопасность вебсайтов
Re: Краулер нагружает сайт
« Ответ #1 : 04.04.2021, 22:27:27 »
Оптимизировать) возможно где надо кешировать. Ну и может просто сайт создаёт нагрузку больше, чем выделенные ресурсы
*

polezniy

  • Захожу иногда
  • 326
  • 0 / 0
Re: Краулер нагружает сайт
« Ответ #2 : 05.04.2021, 00:02:20 »
Ресурсов хватает. Скорее дело в кэше. На сайте очень много картинок, может из-за этого связано как-то
*

polezniy

  • Захожу иногда
  • 326
  • 0 / 0
Re: Краулер нагружает сайт
« Ответ #3 : 05.04.2021, 11:34:50 »
Забыл дописать, включен Memcached experimental, может в нём дело?
*

Taatshi

  • Глобальный модератор
  • 5246
  • 479 / 1
  • Верстаем и кодим. Обращайтесь ;)
Re: Краулер нагружает сайт
« Ответ #4 : 05.04.2021, 13:02:38 »
Краулер сам по себе и создает нагрузку. Уменьшайте количество запросов в секунду или повышайте ресурсы сервера/меняйте тариф хостинга
ВЕРСТКА, САЙТЫ ПОД КЛЮЧ, УДАЛЕНИЕ ВИРУСОВ, МИГРАЦИЯ НА JOOMLA 3, ОБНОВЛЕНИЕ  |  ОТЗЫВЫ 
Связь: telegram - Taatshi, почта - Taatshi на яндексе, Skype - Taatshi
*

ProtectYourSite

  • Живу я здесь
  • 2120
  • 116 / 4
  • Безопасность вебсайтов
Re: Краулер нагружает сайт
« Ответ #5 : 05.04.2021, 21:41:25 »
Еще как вариант, сервер может быть не оптимально настроен - с той же отдачей статики nginx лучше справляется апача, и соответсвенно позволяет выдерживать большее количество запросов.
*

polezniy

  • Захожу иногда
  • 326
  • 0 / 0
Re: Краулер нагружает сайт
« Ответ #6 : 06.04.2021, 11:31:16 »
Вы правы, видимо что-то не так с настройками сервера. Использую апач.
*

SeBun

  • Живу я здесь
  • 3991
  • 256 / 4
  • @SeBun48
Re: Краулер нагружает сайт
« Ответ #7 : 09.04.2021, 08:04:01 »
Вы правы, видимо что-то не так с настройками сервера. Использую апач.
Вообще по хорошему ваш краулер должен банится. Так, хостер должен был на сервер установить и настроить модуль Fail2ban или его аналог, где в правилах должно быть оговорено количество запросов в секунду с одного IP. Обычно тонкой настройкой правил не заморачиваются. Если вы видите в логах множественные запросы, значит модуля либо нет, либо его не настраивали. А это значит, что если на сайт зайдет бот, который начнет перебирать эксплойты, то его никто не забанит, и он может успешно отработать на одном IP. Второй момент: при запросе страницы на сервере происходит большая работа, отрабатывают скрипты, делаются запросы в базу, все это создает нагрузку на ресурсы. И чем таких запросов больше, тем сильнее греется процессор. Могу посоветовать проверить объем выделенной под процессы памяти, поставьте 512 Мб вместо 128 к примеру, посмотрите, как изменится нагрузка.
Оказываю услуги по Joomla | Миграция на Joomla 3.x | Сопровождение | IT-аутсорсинг | Недорогие домены и хостинг
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться
 

Сайт для слабовидящих!

Автор vlmedia

Ответов: 173
Просмотров: 59300
Последний ответ 01.06.2021, 13:27:27
от Optarin
Как вывести потоковое видео на сайт через api?

Автор V1RTUS

Ответов: 0
Просмотров: 109
Последний ответ 22.04.2021, 02:05:39
от V1RTUS
Как поставить виртуальную экскурсию колледжа на сайт?

Автор NoName

Ответов: 14
Просмотров: 247
Последний ответ 30.03.2021, 17:27:27
от effrit
Сайт дублируется целиком на другой домене

Автор Loh

Ответов: 1
Просмотров: 128
Последний ответ 16.03.2021, 19:50:51
от Loh
SEO сайт на всю Россию

Автор stem2002

Ответов: 6
Просмотров: 282
Последний ответ 04.01.2021, 01:26:24
от pavelrer