Краулер нагружает сайт - Joomla 3.x: Общие вопросы

Доброго дня. Когда начинаю краулить сайт, сайт начинает тормозить. С чем это может быть связано? Как лечить?

Оптимизировать) возможно где надо кешировать. Ну и может просто сайт создаёт нагрузку больше, чем выделенные ресурсы

Ресурсов хватает. Скорее дело в кэше. На сайте очень много картинок, может из-за этого связано как-то

Забыл дописать, включен Memcached experimental, может в нём дело?

Краулер сам по себе и создает нагрузку. Уменьшайте количество запросов в секунду или повышайте ресурсы сервера/меняйте тариф хостинга

Еще как вариант, сервер может быть не оптимально настроен - с той же отдачей статики nginx лучше справляется апача, и соответсвенно позволяет выдерживать большее количество запросов.

Вы правы, видимо что-то не так с настройками сервера. Использую апач.

Вы правы, видимо что-то не так с настройками сервера. Использую апач.

Вообще по хорошему ваш краулер должен банится. Так, хостер должен был на сервер установить и настроить модуль Fail2ban или его аналог, где в правилах должно быть оговорено количество запросов в секунду с одного IP. Обычно тонкой настройкой правил не заморачиваются. Если вы видите в логах множественные запросы, значит модуля либо нет, либо его не настраивали. А это значит, что если на сайт зайдет бот, который начнет перебирать эксплойты, то его никто не забанит, и он может успешно отработать на одном IP. Второй момент: при запросе страницы на сервере происходит большая работа, отрабатывают скрипты, делаются запросы в базу, все это создает нагрузку на ресурсы. И чем таких запросов больше, тем сильнее греется процессор. Могу посоветовать проверить объем выделенной под процессы памяти, поставьте 512 Мб вместо 128 к примеру, посмотрите, как изменится нагрузка.