Форум русской поддержки Joomla!® CMS
06.12.2016, 12:10:43 *
Добро пожаловать, Гость. Пожалуйста, войдите или зарегистрируйтесь.
Вам не пришло письмо с кодом активации?

Войти
   
   Начало   Поиск Joomla 3.0 FAQ Joomla 2.5 FAQ Joomla 1.5 FAQ Правила форума Новости Joomla Реклама Войти Регистрация Помощь  
Страниц: [1] 2  Все   Вниз
  Добавить закладку  |  Печать  
Автор

Сайт превышает Допустимую нагрузку на cpu

 (Прочитано 6068 раз)
0 Пользователей и 2 Гостей смотрят эту тему.
ShamilHan
Осваиваюсь на форуме
***

Репутация: +5/-0
Offline Offline

Сообщений: 197



« : 20.05.2015, 02:35:33 »

Здравствуйте!

У меня сайт нагружает CPU хостинга (ihc.ru). Уникальное посещение сайта в сутки не более 160, а то и меньше. Смотрел логи, заметил что некоторые IP делают в секунду по 20-30 запросов продолжительностью 4-5 секунд, итого 100-... запросов. Пробовал банить по IP, на смену забаненым приходят другие.
Может есть какое-то решение? подумывал о ограничении запросов с одного IP в секунду, вот только как воплотить в реальность не представляю. Хостер на меня ругается уже (((
Записан
flyingspook
Профи
********

Репутация: +226/-9
Offline Offline

Сообщений: 3529


« Ответ #1 : 20.05.2015, 09:24:14 »

а в запросах имя бота указано?
если есть то можно по боту забанить, иногда сервисы различные нагрузку несут
Записан
draff
Практически профи
*******

Репутация: +161/-5
Offline Offline

Пол: Мужской
Сообщений: 2653


step by step


« Ответ #2 : 20.05.2015, 10:05:36 »

А Google и Яндекс в robots ограничение прописал ?
Код:
User-agent: *

Crawl-delay: 7
И на всяк случай туда же
Код:
User-agent: AhrefsBot

Disallow: /
В .htaccess
Показать текстовый блок
Записан
ShamilHan
Осваиваюсь на форуме
***

Репутация: +5/-0
Offline Offline

Сообщений: 197



« Ответ #3 : 20.05.2015, 11:29:32 »

А Google и Яндекс в robots ограничение прописал ?
Код:
User-agent: *

Crawl-delay: 7

я выставлял Crawl-delay: 10
по вашему совету добавил User-agent: AhrefsBot

только с ## Блокировка по USER AGENT: у меня прописывается так
RewriteCond %{HTTP_USER_AGENT} ^Accoona [OR]

у вас же так:
RewriteCond %{HTTP_USER_AGENT} Yeti [OR]

то есть у меня перед именем бота стоит птичка ^ она нужна или не имеет значение ее присутствие или отсутствие?

и еще, я  так понял что у меня идет частое обновление главной страницы? см. криншот


* QHCzvAe.jpg (35.28 Кб, 562x459 - просмотрено 105 раз.)
Записан
flyingspook
Профи
********

Репутация: +226/-9
Offline Offline

Сообщений: 3529


« Ответ #4 : 20.05.2015, 19:26:08 »

не гадайте, логи просмотрите хорошенько
Записан
Mihanja80
Практически профи
*******

Репутация: +167/-4
Offline Offline

Пол: Мужской
Сообщений: 1981


Всю жизнь учусь...


« Ответ #5 : 20.05.2015, 22:00:33 »

Начните с включения кеширования, в глобальных настройках.
Записан
ChaosHead
Профи
********

Репутация: +381/-10
Offline Offline

Пол: Мужской
Сообщений: 4391



« Ответ #6 : 21.05.2015, 00:40:30 »

Пора создавать тему: Список хостингов на которых "три калеки" превышают допустимую нагрузку.
Записан
flyingspook
Профи
********

Репутация: +226/-9
Offline Offline

Сообщений: 3529


« Ответ #7 : 21.05.2015, 09:27:58 »

Пора создавать тему: Список хостингов на которых "три калеки" превышают допустимую нагрузку.
смысла нет создавать уже 3 год идет политика vps/vds, как у разработчиков так и у хостеров, железо шагает вперед, шарада изжил себя, его используют только готовые мульти сайты и то на бесплатном мульте много не сделаешь
Записан
ShamilHan
Осваиваюсь на форуме
***

Репутация: +5/-0
Offline Offline

Сообщений: 197



« Ответ #8 : 21.05.2015, 18:57:30 »

Начните с включения кеширования, в глобальных настройках.
Для работы с Кэш я использую NoNumber Cache Cleaner. Кэш обновляется только тогда когда происходит обновление со стороны админ панели.
Записан
ShamilHan
Осваиваюсь на форуме
***

Репутация: +5/-0
Offline Offline

Сообщений: 197



« Ответ #9 : 21.05.2015, 19:00:43 »

Пора создавать тему: Список хостингов на которых "три калеки" превышают допустимую нагрузку.
Лучше создать тему которая была бы про то какой хостинг Может поддерживать сайты на Joomla. 21 век, Joomla уже 3.х версии, а все хостинги судя по их мощности рассчитаны на HTML сайты. Хотя у каждого написано "100% совместим с Joomla и т.п."
Записан
flyingspook
Профи
********

Репутация: +226/-9
Offline Offline

Сообщений: 3529


« Ответ #10 : 22.05.2015, 10:58:19 »

Лучше создать тему которая была бы про то какой хостинг Может поддерживать сайты на Joomla. 21 век, Joomla уже 3.х версии, а все хостинги судя по их мощности рассчитаны на HTML сайты. Хотя у каждого написано "100% совместим с Joomla и т.п."
Вам ни кто из хостеров не гарантирует ни вашу посещаемость ни нагрузку установленных скриптов, то что пишут "Может поддерживать сайты на Joomla" это значит голый движок, они даже не "обманывают" голый без посещаемости держит любой шарада хост, а вот уже потом при посещении ботов пользователей и установкой различного рода функционала увы начинается та самая нагрузка, еще и соседями по хосту.
Только vps/vds может решить вопрос по нагрузке. Вы сами его настраиваете и подбираете железо.
Записан
ShamilHan
Осваиваюсь на форуме
***

Репутация: +5/-0
Offline Offline

Сообщений: 197



« Ответ #11 : 22.05.2015, 16:34:41 »

Joomla сама по себе имеет Слишком много CSS или JS файлов. Есть ли вариант, самоучитель или еще что-то по уменьшению количества CSS и JS файлов?
Дело в том, что если на сайт заходит пользователь или Бот то при обновлении происходит не менее 100 запросов, отсюда наверняка и идет нагрузка!
Записан
ChaosHead
Профи
********

Репутация: +381/-10
Offline Offline

Пол: Мужской
Сообщений: 4391



« Ответ #12 : 22.05.2015, 17:20:47 »

Файлов отдаётся максимум десяток. В шаблоне ещё может десяток стилей с картинками. Откуда 100? о-О
Запросы к БД создают нагрузку на БД. Для этого в Joomla есть кэширование. Рекомендую стандартное http://joomlaforum.ru/index.php?topic=305344.0
Записан
ShamilHan
Осваиваюсь на форуме
***

Репутация: +5/-0
Offline Offline

Сообщений: 197



« Ответ #13 : 27.05.2015, 15:57:44 »

С объединением CSS и js в один файл я разобрался с помощью использования плагина ... тем самым уменьшил количество загружаемых файлов, вес объединенного во едино файлов CSS практически не изменился относительно всех ранее существовавших, но зато меньше запросов к серверу так как каждый файл требовал обращения к серверу.
-------------------------------------------------------------------------------------------------------------------
Теперь у меня иной вопрос.
Как удалить стандартную страницу (ссылку) /index.php/component/user/?task=register. Эта часть ссылки ведет на страницу регистрации. У меня стандартная регистрация Joomla отключена но страница существует.
Для чего мне ее нужно удалить? Дело в том, что я проанализировал файл logs и заметил что Боты проходят по этой ссылке, видимо заинтересованы в регистрации, но количество  ботов, а точнее их входы нагружают CPU.
на сайте установлен CB и регистрация только с помощью СВ.
Записан
ChaosHead
Профи
********

Репутация: +381/-10
Offline Offline

Пол: Мужской
Сообщений: 4391



« Ответ #14 : 27.05.2015, 19:26:03 »

Один вопрос - одна тема, пожалуйста.
Записан
ShamilHan
Осваиваюсь на форуме
***

Репутация: +5/-0
Offline Offline

Сообщений: 197



« Ответ #15 : 27.05.2015, 19:41:27 »

Один вопрос - одна тема, пожалуйста.
Я хочу в итоге сделать отчет по теме "нагрузка CPU сайтом или как бороться с ботами"
Записан
ChaosHead
Профи
********

Репутация: +381/-10
Offline Offline

Пол: Мужской
Сообщений: 4391



« Ответ #16 : 27.05.2015, 19:46:12 »

Понял.
Можно закрыть через .htaccess, попробуй пропиши
Код:
ErrorDocument 404 /index.php/component/user/?task=register
Записан
ShamilHan
Осваиваюсь на форуме
***

Репутация: +5/-0
Offline Offline

Сообщений: 197



« Ответ #17 : 27.05.2015, 23:31:34 »

Понял.
Можно закрыть через .htaccess, попробуй пропиши
Код:
ErrorDocument 404 /index.php/component/user/?task=register
не помогло, продолжает открывать страницу
Записан
capricorn
Живу я здесь
******

Репутация: +86/-0
Offline Offline

Сообщений: 1413


« Ответ #18 : 27.05.2015, 23:49:09 »

если бы был DDoS, то хостер сам бы закрыл сайт. Анти спам стоит на регистрацию?
Записан
ChaosHead
Профи
********

Репутация: +381/-10
Offline Offline

Пол: Мужской
Сообщений: 4391



« Ответ #19 : 28.05.2015, 00:25:15 »

Да видишь, у него проблемы не в том, хостер зверствует. Пара человек перешла на сайт - уже превышение нагрузки. А человек думает, что реально проблема у него и урезает всё, что можно. Но это путь в никуда, т.к. при росте посещаемости так и так нагрузка вырастет.
Записан
capricorn
Живу я здесь
******

Репутация: +86/-0
Offline Offline

Сообщений: 1413


« Ответ #20 : 28.05.2015, 00:50:18 »

тут есть 2 варианта. первый - на сайте стоит варез. второй - повреждена БД, которую надо отремонтировать.

никакой "левый" бот не будет долбить сайт. по одной простой причине - это денег будет стоить немаленьких хозяину бота. поддосят немножко и отстанут.

« Последнее редактирование: 28.05.2015, 00:53:54 от capricorn » Записан
ShamilHan
Осваиваюсь на форуме
***

Репутация: +5/-0
Offline Offline

Сообщений: 197



« Ответ #21 : 28.05.2015, 01:16:43 »

Поставил компонент RSFirewall, закрыл доступ всем странам которые не имели в принципе активности на сайте в виде реальных посетителей. Посмотрим что выйдет из этого.
Я честно говоря устал банить IP в файле .htaccess даже целыми подсетями банить начал )))
на смену забаненым приходят новые
Записан
capricorn
Живу я здесь
******

Репутация: +86/-0
Offline Offline

Сообщений: 1413


« Ответ #22 : 28.05.2015, 01:40:24 »

ШамильХан, надо логи смотреть.

Цитировать
Смотрел логи, заметил что некоторые IP делают в секунду по 20-30 запросов продолжительностью 4-5 секунд

Длительность запроса - это ты выдумал.

Выложи лог доступа к сайту под спойлер.
Записан
ShamilHan
Осваиваюсь на форуме
***

Репутация: +5/-0
Offline Offline

Сообщений: 197



« Ответ #23 : 28.05.2015, 01:50:09 »

ШамильХан, надо логи смотреть.

Длительность запроса - это ты выдумал.

Выложи лог доступа к сайту под спойлер.
Показать текстовый блок
Записан
capricorn
Живу я здесь
******

Репутация: +86/-0
Offline Offline

Сообщений: 1413


« Ответ #24 : 28.05.2015, 02:18:46 »

ничего подозрительного в логе нет.

за исключением этого:

*.*.*.*- - [27/May/2015:23:20:33 +0300] "GET /templates/yoo_balance/images/background/plain/page.jpg HTTP/1.1" 200 593 "***" "Mozilla/5.0 (iPhone; CPU iPhone OS 8_1_3 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Mobile/12B466"


Это легально приобретенный шаблон?


« Последнее редактирование: 28.05.2015, 02:25:25 от capricorn » Записан
flyingspook
Профи
********

Репутация: +226/-9
Offline Offline

Сообщений: 3529


« Ответ #25 : 28.05.2015, 17:34:14 »

если стоит мобильная версия сайта то попробуйте просто на время её отключить
Записан
ShamilHan
Осваиваюсь на форуме
***

Репутация: +5/-0
Offline Offline

Сообщений: 197



« Ответ #26 : 28.05.2015, 23:14:15 »

ничего подозрительного в логе нет.

за исключением этого:

*.*.*.*- - [27/May/2015:23:20:33 +0300] "GET /templates/yoo_balance/images/background/plain/page.jpg HTTP/1.1" 200 593 "***" "Mozilla/5.0 (iPhone; CPU iPhone OS 8_1_3 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Mobile/12B466"


Это легально приобретенный шаблон?

Наврятли легальная
Записан
voland
Профи
********

Репутация: +487/-86
Offline Offline

Пол: Мужской
Сообщений: 8711


любит наш народ всякое гавно...


« Ответ #27 : 28.05.2015, 23:29:13 »

Наврятли легальная
25 сообщений впустую!
На свалку!
Записан
ChaosHead
Профи
********

Репутация: +381/-10
Offline Offline

Пол: Мужской
Сообщений: 4391



« Ответ #28 : 28.05.2015, 23:48:31 »

Точно на свалку. Автор, купи шаблон, сделай сайт по новой. Пройдёт время, однажды проснёшься и поймёшь: блин, так они же могут на верезных сайтах в шаблоны вставлять абсолютно любые свои скрипты, а у меня на сайте нет антивируса! Абсолютно любые скрипты, Карл и нет антивируса! ... Так вот почему так много сайтов с варезными шаблонами!
« Последнее редактирование: 28.05.2015, 23:52:03 от ChaosHead » Записан
ShamilHan
Осваиваюсь на форуме
***

Репутация: +5/-0
Offline Offline

Сообщений: 197



« Ответ #29 : 29.05.2015, 00:14:04 »

почему же сразу на свалку? Хотите сказать что шаблон с вирусом?
Записан
Страниц: [1] 2  Все   Вверх
  Добавить закладку  |  Печать  
 
Перейти в:  

Powered by SMF 1.1.21 | SMF © 2006, Simple Machines

Joomlaforum.ru is not affiliated with or endorsed by the Joomla! Project or Open Source Matters.
The Joomla! name and logo is used under a limited license granted by Open Source Matters
the trademark holder in the United States and other countries.

LiveInternet