Сайт превышает Допустимую нагрузку на cpu

  • 30 Ответов
  • 8329 Просмотров

0 Пользователей и 1 Гость просматривают эту тему.

*

Оффлайн ShamilHan

Здравствуйте!

У меня сайт нагружает CPU хостинга (ihc.ru). Уникальное посещение сайта в сутки не более 160, а то и меньше. Смотрел логи, заметил что некоторые IP делают в секунду по 20-30 запросов продолжительностью 4-5 секунд, итого 100-... запросов. Пробовал банить по IP, на смену забаненым приходят другие.
Может есть какое-то решение? подумывал о ограничении запросов с одного IP в секунду, вот только как воплотить в реальность не представляю. Хостер на меня ругается уже (((

*

Оффлайн flyingspook

а в запросах имя бота указано?
если есть то можно по боту забанить, иногда сервисы различные нагрузку несут

*

Оффлайн draff

  • *******
  • 2739
  • [+]174 / [-]5
  • step by step
    • Просмотр профиля
А Google и Яндекс в robots ограничение прописал ?
User-agent: *

Crawl-delay: 7
И на всяк случай туда же
User-agent: AhrefsBot

Disallow: /
В .htaccess
Спойлер
[свернуть]

*

Оффлайн ShamilHan

А Google и Яндекс в robots ограничение прописал ?
User-agent: *

Crawl-delay: 7

я выставлял Crawl-delay: 10
по вашему совету добавил User-agent: AhrefsBot

только с ## Блокировка по USER AGENT: у меня прописывается так
RewriteCond %{HTTP_USER_AGENT} ^Accoona [OR]

у вас же так:
RewriteCond %{HTTP_USER_AGENT} Yeti [OR]

то есть у меня перед именем бота стоит птичка ^ она нужна или не имеет значение ее присутствие или отсутствие?

и еще, я  так понял что у меня идет частое обновление главной страницы? см. криншот


*

Оффлайн Mihanja80

  • *******
  • 1954
  • [+]167 / [-]4
  • Всю жизнь учусь...
    • Просмотр профиля
    • Videorip.info
Начните с включения кеширования, в глобальных настройках.
Я с мобильного, в основном...

*

Оффлайн ChaosHead

Пора создавать тему: Список хостингов на которых "три калеки" превышают допустимую нагрузку.

*

Оффлайн flyingspook

Пора создавать тему: Список хостингов на которых "три калеки" превышают допустимую нагрузку.
смысла нет создавать уже 3 год идет политика vps/vds, как у разработчиков так и у хостеров, железо шагает вперед, шарада изжил себя, его используют только готовые мульти сайты и то на бесплатном мульте много не сделаешь

*

Оффлайн ShamilHan

Начните с включения кеширования, в глобальных настройках.
Для работы с Кэш я использую NoNumber Cache Cleaner. Кэш обновляется только тогда когда происходит обновление со стороны админ панели.

*

Оффлайн ShamilHan

Пора создавать тему: Список хостингов на которых "три калеки" превышают допустимую нагрузку.
Лучше создать тему которая была бы про то какой хостинг Может поддерживать сайты на Joomla. 21 век, Joomla уже 3.х версии, а все хостинги судя по их мощности рассчитаны на HTML сайты. Хотя у каждого написано "100% совместим с Joomla и т.п."

*

Оффлайн flyingspook

Лучше создать тему которая была бы про то какой хостинг Может поддерживать сайты на Joomla. 21 век, Joomla уже 3.х версии, а все хостинги судя по их мощности рассчитаны на HTML сайты. Хотя у каждого написано "100% совместим с Joomla и т.п."
Вам ни кто из хостеров не гарантирует ни вашу посещаемость ни нагрузку установленных скриптов, то что пишут "Может поддерживать сайты на Joomla" это значит голый движок, они даже не "обманывают" голый без посещаемости держит любой шарада хост, а вот уже потом при посещении ботов пользователей и установкой различного рода функционала увы начинается та самая нагрузка, еще и соседями по хосту.
Только vps/vds может решить вопрос по нагрузке. Вы сами его настраиваете и подбираете железо.

*

Оффлайн ShamilHan

Joomla сама по себе имеет Слишком много CSS или JS файлов. Есть ли вариант, самоучитель или еще что-то по уменьшению количества CSS и JS файлов?
Дело в том, что если на сайт заходит пользователь или Бот то при обновлении происходит не менее 100 запросов, отсюда наверняка и идет нагрузка!

*

Оффлайн ChaosHead

Файлов отдаётся максимум десяток. В шаблоне ещё может десяток стилей с картинками. Откуда 100? о-О
Запросы к БД создают нагрузку на БД. Для этого в Joomla есть кэширование. Рекомендую стандартное http://joomlaforum.ru/index.php?topic=305344.0

*

Оффлайн ShamilHan

С объединением CSS и js в один файл я разобрался с помощью использования плагина ... тем самым уменьшил количество загружаемых файлов, вес объединенного во едино файлов CSS практически не изменился относительно всех ранее существовавших, но зато меньше запросов к серверу так как каждый файл требовал обращения к серверу.
-------------------------------------------------------------------------------------------------------------------
Теперь у меня иной вопрос.
Как удалить стандартную страницу (ссылку) /index.php/component/user/?task=register. Эта часть ссылки ведет на страницу регистрации. У меня стандартная регистрация Joomla отключена но страница существует.
Для чего мне ее нужно удалить? Дело в том, что я проанализировал файл logs и заметил что Боты проходят по этой ссылке, видимо заинтересованы в регистрации, но количество  ботов, а точнее их входы нагружают CPU.
на сайте установлен CB и регистрация только с помощью СВ.

*

Оффлайн ChaosHead

Один вопрос - одна тема, пожалуйста.

*

Оффлайн ShamilHan

Один вопрос - одна тема, пожалуйста.
Я хочу в итоге сделать отчет по теме "нагрузка CPU сайтом или как бороться с ботами"

*

Оффлайн ChaosHead

Понял.
Можно закрыть через .htaccess, попробуй пропиши
ErrorDocument 404 /index.php/component/user/?task=register

*

Оффлайн ShamilHan

Понял.
Можно закрыть через .htaccess, попробуй пропиши
ErrorDocument 404 /index.php/component/user/?task=register
не помогло, продолжает открывать страницу

*

Оффлайн capricorn

если бы был DDoS, то хостер сам бы закрыл сайт. Анти спам стоит на регистрацию?

*

Оффлайн ChaosHead

Да видишь, у него проблемы не в том, хостер зверствует. Пара человек перешла на сайт - уже превышение нагрузки. А человек думает, что реально проблема у него и урезает всё, что можно. Но это путь в никуда, т.к. при росте посещаемости так и так нагрузка вырастет.

*

Оффлайн capricorn

тут есть 2 варианта. первый - на сайте стоит варез. второй - повреждена БД, которую надо отремонтировать.

никакой "левый" бот не будет долбить сайт. по одной простой причине - это денег будет стоить немаленьких хозяину бота. поддосят немножко и отстанут.

« Последнее редактирование: 28.05.2015, 01:53:54 от capricorn »

*

Оффлайн ShamilHan

Поставил компонент RSFirewall, закрыл доступ всем странам которые не имели в принципе активности на сайте в виде реальных посетителей. Посмотрим что выйдет из этого.
Я честно говоря устал банить IP в файле .htaccess даже целыми подсетями банить начал )))
на смену забаненым приходят новые

*

Оффлайн capricorn

ШамильХан, надо логи смотреть.

Цитировать
Смотрел логи, заметил что некоторые IP делают в секунду по 20-30 запросов продолжительностью 4-5 секунд

Длительность запроса - это ты выдумал.

Выложи лог доступа к сайту под спойлер.

*

Оффлайн ShamilHan

ШамильХан, надо логи смотреть.

Длительность запроса - это ты выдумал.

Выложи лог доступа к сайту под спойлер.
Спойлер
[свернуть]

*

Оффлайн capricorn

ничего подозрительного в логе нет.

за исключением этого:

*.*.*.*- - [27/May/2015:23:20:33 +0300] "GET /templates/yoo_balance/images/background/plain/page.jpg HTTP/1.1" 200 593 "***" "Mozilla/5.0 (iPhone; CPU iPhone OS 8_1_3 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Mobile/12B466"


Это легально приобретенный шаблон?


« Последнее редактирование: 28.05.2015, 03:25:25 от capricorn »

*

Оффлайн flyingspook

если стоит мобильная версия сайта то попробуйте просто на время её отключить

*

Оффлайн ShamilHan

ничего подозрительного в логе нет.

за исключением этого:

*.*.*.*- - [27/May/2015:23:20:33 +0300] "GET /templates/yoo_balance/images/background/plain/page.jpg HTTP/1.1" 200 593 "***" "Mozilla/5.0 (iPhone; CPU iPhone OS 8_1_3 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Mobile/12B466"


Это легально приобретенный шаблон?

Наврятли легальная

*

Онлайн voland

  • ********
  • 9334
  • [+]520 / [-]101
  • СКАЙП утерян! Пишите в телеграм @volandku
    • Просмотр профиля
    • webstudio.pro
Наврятли легальная
25 сообщений впустую!
На свалку!

*

Оффлайн ChaosHead

Точно на свалку. Автор, купи шаблон, сделай сайт по новой. Пройдёт время, однажды проснёшься и поймёшь: блин, так они же могут на верезных сайтах в шаблоны вставлять абсолютно любые свои скрипты, а у меня на сайте нет антивируса! Абсолютно любые скрипты, Карл и нет антивируса! ... Так вот почему так много сайтов с варезными шаблонами!
« Последнее редактирование: 29.05.2015, 00:52:03 от ChaosHead »

*

Оффлайн ShamilHan

почему же сразу на свалку? Хотите сказать что шаблон с вирусом?