0 Пользователей и 1 Гость просматривают эту тему.
  • 7 Ответов
  • 475 Просмотров
*

polezniy

  • Захожу иногда
  • 430
  • 0 / 0
Краулер нагружает сайт
« : 04.04.2021, 21:23:47 »
Доброго дня. Когда начинаю краулить сайт, сайт начинает тормозить. С чем это может быть связано? Как лечить?
*

ProtectYourSite

  • Живу я здесь
  • 2280
  • 128 / 4
  • Безопасность вебсайтов
Re: Краулер нагружает сайт
« Ответ #1 : 04.04.2021, 22:27:27 »
Оптимизировать) возможно где надо кешировать. Ну и может просто сайт создаёт нагрузку больше, чем выделенные ресурсы
*

polezniy

  • Захожу иногда
  • 430
  • 0 / 0
Re: Краулер нагружает сайт
« Ответ #2 : 05.04.2021, 00:02:20 »
Ресурсов хватает. Скорее дело в кэше. На сайте очень много картинок, может из-за этого связано как-то
*

polezniy

  • Захожу иногда
  • 430
  • 0 / 0
Re: Краулер нагружает сайт
« Ответ #3 : 05.04.2021, 11:34:50 »
Забыл дописать, включен Memcached experimental, может в нём дело?
*

Taatshi

  • Глобальный модератор
  • 5259
  • 481 / 1
  • Верстаем и кодим. Обращайтесь ;)
Re: Краулер нагружает сайт
« Ответ #4 : 05.04.2021, 13:02:38 »
Краулер сам по себе и создает нагрузку. Уменьшайте количество запросов в секунду или повышайте ресурсы сервера/меняйте тариф хостинга
ВЕРСТКА, САЙТЫ ПОД КЛЮЧ, УДАЛЕНИЕ ВИРУСОВ, МИГРАЦИЯ НА JOOMLA 3, ОБНОВЛЕНИЕ  |  ОТЗЫВЫ 
Связь: telegram - Taatshi, почта - Taatshi на яндексе, Skype - Taatshi
*

ProtectYourSite

  • Живу я здесь
  • 2280
  • 128 / 4
  • Безопасность вебсайтов
Re: Краулер нагружает сайт
« Ответ #5 : 05.04.2021, 21:41:25 »
Еще как вариант, сервер может быть не оптимально настроен - с той же отдачей статики nginx лучше справляется апача, и соответсвенно позволяет выдерживать большее количество запросов.
*

polezniy

  • Захожу иногда
  • 430
  • 0 / 0
Re: Краулер нагружает сайт
« Ответ #6 : 06.04.2021, 11:31:16 »
Вы правы, видимо что-то не так с настройками сервера. Использую апач.
*

SeBun

  • Живу я здесь
  • 3998
  • 259 / 4
  • @SeBun48
Re: Краулер нагружает сайт
« Ответ #7 : 09.04.2021, 08:04:01 »
Вы правы, видимо что-то не так с настройками сервера. Использую апач.
Вообще по хорошему ваш краулер должен банится. Так, хостер должен был на сервер установить и настроить модуль Fail2ban или его аналог, где в правилах должно быть оговорено количество запросов в секунду с одного IP. Обычно тонкой настройкой правил не заморачиваются. Если вы видите в логах множественные запросы, значит модуля либо нет, либо его не настраивали. А это значит, что если на сайт зайдет бот, который начнет перебирать эксплойты, то его никто не забанит, и он может успешно отработать на одном IP. Второй момент: при запросе страницы на сервере происходит большая работа, отрабатывают скрипты, делаются запросы в базу, все это создает нагрузку на ресурсы. И чем таких запросов больше, тем сильнее греется процессор. Могу посоветовать проверить объем выделенной под процессы памяти, поставьте 512 Мб вместо 128 к примеру, посмотрите, как изменится нагрузка.
Оказываю услуги по Joomla | Миграция на Joomla 3.x | Сопровождение | IT-аутсорсинг | Недорогие домены и хостинг
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться
 

Перенести сайт расписание автобусов

Автор Kliker_msk

Ответов: 4
Просмотров: 236
Последний ответ 23.06.2022, 18:39:37
от Kliker_msk
!!!РЕШЕНО - Сайт не цепляет переопределение! Помогите

Автор onniby

Ответов: 4
Просмотров: 248
Последний ответ 04.05.2022, 12:47:09
от onniby
Error. Сайт и админка не работают

Автор rokliv

Ответов: 4
Просмотров: 264
Последний ответ 24.04.2022, 12:15:45
от NewUsers
Не работает сайт на локалке

Автор leha111

Ответов: 24
Просмотров: 21688
Последний ответ 22.04.2022, 10:37:21
от omnipresent
Мультиязычный сайт как лучше?

Автор polezniy

Ответов: 32
Просмотров: 776
Последний ответ 28.03.2022, 13:02:02
от polezniy