1 2  Все   Вниз
0 Пользователей и 1 Гость просматривают эту тему.
  • 30 Ответов
  • 8451 Просмотров
*

ShamilHan

  • Осваиваюсь на форуме
  • 194
  • 5
Сайт превышает Допустимую нагрузку на cpu
« : 20.05.2015, 01:35:33 »
Здравствуйте!

У меня сайт нагружает CPU хостинга (ihc.ru). Уникальное посещение сайта в сутки не более 160, а то и меньше. Смотрел логи, заметил что некоторые IP делают в секунду по 20-30 запросов продолжительностью 4-5 секунд, итого 100-... запросов. Пробовал банить по IP, на смену забаненым приходят другие.
Может есть какое-то решение? подумывал о ограничении запросов с одного IP в секунду, вот только как воплотить в реальность не представляю. Хостер на меня ругается уже (((
Записан
*

flyingspook

  • Профи
  • 3619
  • 236
Re: Сайт превышает Допустимую нагрузку на cpu
« Ответ #1 : 20.05.2015, 08:24:14 »
а в запросах имя бота указано?
если есть то можно по боту забанить, иногда сервисы различные нагрузку несут
Записан
*

draff

  • Практически профи
  • 2771
  • 171
  • step by step
Re: Сайт превышает Допустимую нагрузку на cpu
« Ответ #2 : 20.05.2015, 09:05:36 »
А Google и Яндекс в robots ограничение прописал ?
Код
User-agent: *

Crawl-delay: 7
И на всяк случай туда же
Код
User-agent: AhrefsBot

Disallow: /
В .htaccess
Спойлер
[свернуть]
Записан
*

ShamilHan

  • Осваиваюсь на форуме
  • 194
  • 5
Re: Сайт превышает Допустимую нагрузку на cpu
« Ответ #3 : 20.05.2015, 10:29:32 »
Цитата: draff от 20.05.2015, 09:05:36
А Google и Яндекс в robots ограничение прописал ?
Код
User-agent: *

Crawl-delay: 7

я выставлял Crawl-delay: 10
по вашему совету добавил User-agent: AhrefsBot

только с ## Блокировка по USER AGENT: у меня прописывается так
RewriteCond %{HTTP_USER_AGENT} ^Accoona [OR]

у вас же так:
RewriteCond %{HTTP_USER_AGENT} Yeti [OR]

то есть у меня перед именем бота стоит птичка ^ она нужна или не имеет значение ее присутствие или отсутствие?

и еще, я  так понял что у меня идет частое обновление главной страницы? см. криншот
Записан
*

flyingspook

  • Профи
  • 3619
  • 236
Re: Сайт превышает Допустимую нагрузку на cpu
« Ответ #4 : 20.05.2015, 18:26:08 »
не гадайте, логи просмотрите хорошенько
Записан
*

Mihanja80

  • Практически профи
  • 1954
  • 163
  • Всю жизнь учусь...
Re: Сайт превышает Допустимую нагрузку на cpu
« Ответ #5 : 20.05.2015, 21:00:33 »
Начните с включения кеширования, в глобальных настройках.
Записан
Я с мобильного, в основном...
*

ChaosHead

  • Профи
  • 4739
  • 398
Re: Сайт превышает Допустимую нагрузку на cpu
« Ответ #6 : 20.05.2015, 23:40:30 »
Пора создавать тему: Список хостингов на которых "три калеки" превышают допустимую нагрузку.
Записан
*

flyingspook

  • Профи
  • 3619
  • 236
Re: Сайт превышает Допустимую нагрузку на cpu
« Ответ #7 : 21.05.2015, 08:27:58 »
Цитата: ChaosHead от 20.05.2015, 23:40:30
Пора создавать тему: Список хостингов на которых "три калеки" превышают допустимую нагрузку.
смысла нет создавать уже 3 год идет политика vps/vds, как у разработчиков так и у хостеров, железо шагает вперед, шарада изжил себя, его используют только готовые мульти сайты и то на бесплатном мульте много не сделаешь
Записан
*

ShamilHan

  • Осваиваюсь на форуме
  • 194
  • 5
Re: Сайт превышает Допустимую нагрузку на cpu
« Ответ #8 : 21.05.2015, 17:57:30 »
Цитата: Mihanja80 от 20.05.2015, 21:00:33
Начните с включения кеширования, в глобальных настройках.
Для работы с Кэш я использую NoNumber Cache Cleaner. Кэш обновляется только тогда когда происходит обновление со стороны админ панели.
Записан
*

ShamilHan

  • Осваиваюсь на форуме
  • 194
  • 5
Re: Сайт превышает Допустимую нагрузку на cpu
« Ответ #9 : 21.05.2015, 18:00:43 »
Цитата: ChaosHead от 20.05.2015, 23:40:30
Пора создавать тему: Список хостингов на которых "три калеки" превышают допустимую нагрузку.
Лучше создать тему которая была бы про то какой хостинг Может поддерживать сайты на Joomla. 21 век, Joomla уже 3.х версии, а все хостинги судя по их мощности рассчитаны на HTML сайты. Хотя у каждого написано "100% совместим с Joomla и т.п."
Записан
*

flyingspook

  • Профи
  • 3619
  • 236
Re: Сайт превышает Допустимую нагрузку на cpu
« Ответ #10 : 22.05.2015, 09:58:19 »
Цитата: ShamilHan от 21.05.2015, 18:00:43
Лучше создать тему которая была бы про то какой хостинг Может поддерживать сайты на Joomla. 21 век, Joomla уже 3.х версии, а все хостинги судя по их мощности рассчитаны на HTML сайты. Хотя у каждого написано "100% совместим с Joomla и т.п."
Вам ни кто из хостеров не гарантирует ни вашу посещаемость ни нагрузку установленных скриптов, то что пишут "Может поддерживать сайты на Joomla" это значит голый движок, они даже не "обманывают" голый без посещаемости держит любой шарада хост, а вот уже потом при посещении ботов пользователей и установкой различного рода функционала увы начинается та самая нагрузка, еще и соседями по хосту.
Только vps/vds может решить вопрос по нагрузке. Вы сами его настраиваете и подбираете железо.
Записан
*

ShamilHan

  • Осваиваюсь на форуме
  • 194
  • 5
Re: Сайт превышает Допустимую нагрузку на cpu
« Ответ #11 : 22.05.2015, 15:34:41 »
Joomla сама по себе имеет Слишком много CSS или JS файлов. Есть ли вариант, самоучитель или еще что-то по уменьшению количества CSS и JS файлов?
Дело в том, что если на сайт заходит пользователь или Бот то при обновлении происходит не менее 100 запросов, отсюда наверняка и идет нагрузка!
Записан
*

ChaosHead

  • Профи
  • 4739
  • 398
Re: Сайт превышает Допустимую нагрузку на cpu
« Ответ #12 : 22.05.2015, 16:20:47 »
Файлов отдаётся максимум десяток. В шаблоне ещё может десяток стилей с картинками. Откуда 100? о-О
Запросы к БД создают нагрузку на БД. Для этого в Joomla есть кэширование. Рекомендую стандартное http://joomlaforum.ru/index.php?topic=305344.0
Записан
*

ShamilHan

  • Осваиваюсь на форуме
  • 194
  • 5
Re: Сайт превышает Допустимую нагрузку на cpu
« Ответ #13 : 27.05.2015, 14:57:44 »
С объединением CSS и js в один файл я разобрался с помощью использования плагина ... тем самым уменьшил количество загружаемых файлов, вес объединенного во едино файлов CSS практически не изменился относительно всех ранее существовавших, но зато меньше запросов к серверу так как каждый файл требовал обращения к серверу.
-------------------------------------------------------------------------------------------------------------------
Теперь у меня иной вопрос.
Как удалить стандартную страницу (ссылку) /index.php/component/user/?task=register. Эта часть ссылки ведет на страницу регистрации. У меня стандартная регистрация Joomla отключена но страница существует.
Для чего мне ее нужно удалить? Дело в том, что я проанализировал файл logs и заметил что Боты проходят по этой ссылке, видимо заинтересованы в регистрации, но количество  ботов, а точнее их входы нагружают CPU.
на сайте установлен CB и регистрация только с помощью СВ.
Записан
*

ChaosHead

  • Профи
  • 4739
  • 398
Re: Сайт превышает Допустимую нагрузку на cpu
« Ответ #14 : 27.05.2015, 18:26:03 »
Один вопрос - одна тема, пожалуйста.
Записан
*

ShamilHan

  • Осваиваюсь на форуме
  • 194
  • 5
Re: Сайт превышает Допустимую нагрузку на cpu
« Ответ #15 : 27.05.2015, 18:41:27 »
Цитата: ChaosHead от 27.05.2015, 18:26:03
Один вопрос - одна тема, пожалуйста.
Я хочу в итоге сделать отчет по теме "нагрузка CPU сайтом или как бороться с ботами"
Записан
*

ChaosHead

  • Профи
  • 4739
  • 398
Re: Сайт превышает Допустимую нагрузку на cpu
« Ответ #16 : 27.05.2015, 18:46:12 »
Понял.
Можно закрыть через .htaccess, попробуй пропиши
Код
ErrorDocument 404 /index.php/component/user/?task=register
Записан
*

ShamilHan

  • Осваиваюсь на форуме
  • 194
  • 5
Re: Сайт превышает Допустимую нагрузку на cpu
« Ответ #17 : 27.05.2015, 22:31:34 »
Цитата: ChaosHead от 27.05.2015, 18:46:12
Понял.
Можно закрыть через .htaccess, попробуй пропиши
Код
ErrorDocument 404 /index.php/component/user/?task=register
не помогло, продолжает открывать страницу
Записан
*

capricorn

  • Практически профи
  • 1687
  • 105
Re: Сайт превышает Допустимую нагрузку на cpu
« Ответ #18 : 27.05.2015, 22:49:09 »
если бы был DDoS, то хостер сам бы закрыл сайт. Анти спам стоит на регистрацию?
Записан
*

ChaosHead

  • Профи
  • 4739
  • 398
Re: Сайт превышает Допустимую нагрузку на cpu
« Ответ #19 : 27.05.2015, 23:25:15 »
Да видишь, у него проблемы не в том, хостер зверствует. Пара человек перешла на сайт - уже превышение нагрузки. А человек думает, что реально проблема у него и урезает всё, что можно. Но это путь в никуда, т.к. при росте посещаемости так и так нагрузка вырастет.
Записан
*

capricorn

  • Практически профи
  • 1687
  • 105
Re: Сайт превышает Допустимую нагрузку на cpu
« Ответ #20 : 27.05.2015, 23:50:18 »
тут есть 2 варианта. первый - на сайте стоит варез. второй - повреждена БД, которую надо отремонтировать.

никакой "левый" бот не будет долбить сайт. по одной простой причине - это денег будет стоить немаленьких хозяину бота. поддосят немножко и отстанут.

« Последнее редактирование: 27.05.2015, 23:53:54 от capricorn »
Записан
*

ShamilHan

  • Осваиваюсь на форуме
  • 194
  • 5
Re: Сайт превышает Допустимую нагрузку на cpu
« Ответ #21 : 28.05.2015, 00:16:43 »
Поставил компонент RSFirewall, закрыл доступ всем странам которые не имели в принципе активности на сайте в виде реальных посетителей. Посмотрим что выйдет из этого.
Я честно говоря устал банить IP в файле .htaccess даже целыми подсетями банить начал )))
на смену забаненым приходят новые
Записан
*

capricorn

  • Практически профи
  • 1687
  • 105
Re: Сайт превышает Допустимую нагрузку на cpu
« Ответ #22 : 28.05.2015, 00:40:24 »
ШамильХан, надо логи смотреть.

Цитировать
Смотрел логи, заметил что некоторые IP делают в секунду по 20-30 запросов продолжительностью 4-5 секунд

Длительность запроса - это ты выдумал.

Выложи лог доступа к сайту под спойлер.
Записан
*

ShamilHan

  • Осваиваюсь на форуме
  • 194
  • 5
Re: Сайт превышает Допустимую нагрузку на cpu
« Ответ #23 : 28.05.2015, 00:50:09 »
Цитата: capricorn от 28.05.2015, 00:40:24
ШамильХан, надо логи смотреть.

Длительность запроса - это ты выдумал.

Выложи лог доступа к сайту под спойлер.
Спойлер
[свернуть]
Записан
*

capricorn

  • Практически профи
  • 1687
  • 105
Re: Сайт превышает Допустимую нагрузку на cpu
« Ответ #24 : 28.05.2015, 01:18:46 »
ничего подозрительного в логе нет.

за исключением этого:

*.*.*.*- - [27/May/2015:23:20:33 +0300] "GET /templates/yoo_balance/images/background/plain/page.jpg HTTP/1.1" 200 593 "***" "Mozilla/5.0 (iPhone; CPU iPhone OS 8_1_3 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Mobile/12B466"


Это легально приобретенный шаблон?


« Последнее редактирование: 28.05.2015, 01:25:25 от capricorn »
Записан
*

flyingspook

  • Профи
  • 3619
  • 236
Re: Сайт превышает Допустимую нагрузку на cpu
« Ответ #25 : 28.05.2015, 16:34:14 »
если стоит мобильная версия сайта то попробуйте просто на время её отключить
Записан
*

ShamilHan

  • Осваиваюсь на форуме
  • 194
  • 5
Re: Сайт превышает Допустимую нагрузку на cpu
« Ответ #26 : 28.05.2015, 22:14:15 »
Цитата: capricorn от 28.05.2015, 01:18:46
ничего подозрительного в логе нет.

за исключением этого:

*.*.*.*- - [27/May/2015:23:20:33 +0300] "GET /templates/yoo_balance/images/background/plain/page.jpg HTTP/1.1" 200 593 "***" "Mozilla/5.0 (iPhone; CPU iPhone OS 8_1_3 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Mobile/12B466"


Это легально приобретенный шаблон?

Наврятли легальная
Записан
*

voland

  • Профи
  • 9498
  • 422
  • Эта строка съедает место на вашем мониторе
Re: Сайт превышает Допустимую нагрузку на cpu
« Ответ #27 : 28.05.2015, 22:29:13 »
Цитата: ShamilHan от 28.05.2015, 22:14:15
Наврятли легальная
25 сообщений впустую!
На свалку!
Записан
*

ChaosHead

  • Профи
  • 4739
  • 398
Re: Сайт превышает Допустимую нагрузку на cpu
« Ответ #28 : 28.05.2015, 22:48:31 »
Точно на свалку. Автор, купи шаблон, сделай сайт по новой. Пройдёт время, однажды проснёшься и поймёшь: блин, так они же могут на верезных сайтах в шаблоны вставлять абсолютно любые свои скрипты, а у меня на сайте нет антивируса! Абсолютно любые скрипты, Карл и нет антивируса! ... Так вот почему так много сайтов с варезными шаблонами!
« Последнее редактирование: 28.05.2015, 22:52:03 от ChaosHead »
Записан
*

ShamilHan

  • Осваиваюсь на форуме
  • 194
  • 5
Re: Сайт превышает Допустимую нагрузку на cpu
« Ответ #29 : 28.05.2015, 23:14:04 »
почему же сразу на свалку? Хотите сказать что шаблон с вирусом?
Записан
1 2  Все   Вверх
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться
 

Ребят, подскажите модуль (расширение) для добавления на сайт Слайда с новостями

Автор Ирина Поехали

 Ответов: 1
Просмотров: 83 		Последний ответ 13.09.2017, 11:07:36
от NewUsers
Медленно загружается сайт

Автор katerina37

 Ответов: 17
Просмотров: 382 		Последний ответ 12.05.2017, 16:28:39
от dmitry_stas
Ищу специалиста на Joomla 2.5.9 + К2, который приведет сайт в порядок

Автор RuslanKazan

 Ответов: 0
Просмотров: 303 		Последний ответ 24.09.2016, 01:03:03
от RuslanKazan
Исчезает сайт

Автор dimasan57

 Ответов: 0
Просмотров: 283 		Последний ответ 17.01.2016, 14:38:10
от dimasan57
Как при помощи Developers Tools найти из какого файла компонента выводится текст на сайт?

Автор vovchikku

 Ответов: 8
Просмотров: 407 		Последний ответ 15.12.2015, 10:45:34
от vovchikku