0 Пользователей и 1 Гость просматривают эту тему.
  • 30 Ответов
  • 8451 Просмотров
*

ShamilHan

  • Осваиваюсь на форуме
  • 194
  • 5
Здравствуйте!

У меня сайт нагружает CPU хостинга (ihc.ru). Уникальное посещение сайта в сутки не более 160, а то и меньше. Смотрел логи, заметил что некоторые IP делают в секунду по 20-30 запросов продолжительностью 4-5 секунд, итого 100-... запросов. Пробовал банить по IP, на смену забаненым приходят другие.
Может есть какое-то решение? подумывал о ограничении запросов с одного IP в секунду, вот только как воплотить в реальность не представляю. Хостер на меня ругается уже (((
*

flyingspook

  • Профи
  • 3619
  • 236
а в запросах имя бота указано?
если есть то можно по боту забанить, иногда сервисы различные нагрузку несут
*

draff

  • Практически профи
  • 2771
  • 171
  • step by step
А Google и Яндекс в robots ограничение прописал ?
Код
User-agent: *

Crawl-delay: 7
И на всяк случай туда же
Код
User-agent: AhrefsBot

Disallow: /
В .htaccess
Спойлер
[свернуть]
*

ShamilHan

  • Осваиваюсь на форуме
  • 194
  • 5
А Google и Яндекс в robots ограничение прописал ?
Код
User-agent: *

Crawl-delay: 7

я выставлял Crawl-delay: 10
по вашему совету добавил User-agent: AhrefsBot

только с ## Блокировка по USER AGENT: у меня прописывается так
RewriteCond %{HTTP_USER_AGENT} ^Accoona [OR]

у вас же так:
RewriteCond %{HTTP_USER_AGENT} Yeti [OR]

то есть у меня перед именем бота стоит птичка ^ она нужна или не имеет значение ее присутствие или отсутствие?

и еще, я  так понял что у меня идет частое обновление главной страницы? см. криншот
*

Mihanja80

  • Практически профи
  • 1954
  • 163
  • Всю жизнь учусь...
Начните с включения кеширования, в глобальных настройках.
Я с мобильного, в основном...
*

ChaosHead

  • Профи
  • 4739
  • 398
Пора создавать тему: Список хостингов на которых "три калеки" превышают допустимую нагрузку.
*

flyingspook

  • Профи
  • 3619
  • 236
Пора создавать тему: Список хостингов на которых "три калеки" превышают допустимую нагрузку.
смысла нет создавать уже 3 год идет политика vps/vds, как у разработчиков так и у хостеров, железо шагает вперед, шарада изжил себя, его используют только готовые мульти сайты и то на бесплатном мульте много не сделаешь
*

ShamilHan

  • Осваиваюсь на форуме
  • 194
  • 5
Начните с включения кеширования, в глобальных настройках.
Для работы с Кэш я использую NoNumber Cache Cleaner. Кэш обновляется только тогда когда происходит обновление со стороны админ панели.
*

ShamilHan

  • Осваиваюсь на форуме
  • 194
  • 5
Пора создавать тему: Список хостингов на которых "три калеки" превышают допустимую нагрузку.
Лучше создать тему которая была бы про то какой хостинг Может поддерживать сайты на Joomla. 21 век, Joomla уже 3.х версии, а все хостинги судя по их мощности рассчитаны на HTML сайты. Хотя у каждого написано "100% совместим с Joomla и т.п."
*

flyingspook

  • Профи
  • 3619
  • 236
Лучше создать тему которая была бы про то какой хостинг Может поддерживать сайты на Joomla. 21 век, Joomla уже 3.х версии, а все хостинги судя по их мощности рассчитаны на HTML сайты. Хотя у каждого написано "100% совместим с Joomla и т.п."
Вам ни кто из хостеров не гарантирует ни вашу посещаемость ни нагрузку установленных скриптов, то что пишут "Может поддерживать сайты на Joomla" это значит голый движок, они даже не "обманывают" голый без посещаемости держит любой шарада хост, а вот уже потом при посещении ботов пользователей и установкой различного рода функционала увы начинается та самая нагрузка, еще и соседями по хосту.
Только vps/vds может решить вопрос по нагрузке. Вы сами его настраиваете и подбираете железо.
*

ShamilHan

  • Осваиваюсь на форуме
  • 194
  • 5
Joomla сама по себе имеет Слишком много CSS или JS файлов. Есть ли вариант, самоучитель или еще что-то по уменьшению количества CSS и JS файлов?
Дело в том, что если на сайт заходит пользователь или Бот то при обновлении происходит не менее 100 запросов, отсюда наверняка и идет нагрузка!
*

ChaosHead

  • Профи
  • 4739
  • 398
Файлов отдаётся максимум десяток. В шаблоне ещё может десяток стилей с картинками. Откуда 100? о-О
Запросы к БД создают нагрузку на БД. Для этого в Joomla есть кэширование. Рекомендую стандартное http://joomlaforum.ru/index.php?topic=305344.0
*

ShamilHan

  • Осваиваюсь на форуме
  • 194
  • 5
С объединением CSS и js в один файл я разобрался с помощью использования плагина ... тем самым уменьшил количество загружаемых файлов, вес объединенного во едино файлов CSS практически не изменился относительно всех ранее существовавших, но зато меньше запросов к серверу так как каждый файл требовал обращения к серверу.
-------------------------------------------------------------------------------------------------------------------
Теперь у меня иной вопрос.
Как удалить стандартную страницу (ссылку) /index.php/component/user/?task=register. Эта часть ссылки ведет на страницу регистрации. У меня стандартная регистрация Joomla отключена но страница существует.
Для чего мне ее нужно удалить? Дело в том, что я проанализировал файл logs и заметил что Боты проходят по этой ссылке, видимо заинтересованы в регистрации, но количество  ботов, а точнее их входы нагружают CPU.
на сайте установлен CB и регистрация только с помощью СВ.
*

ChaosHead

  • Профи
  • 4739
  • 398
Один вопрос - одна тема, пожалуйста.
*

ShamilHan

  • Осваиваюсь на форуме
  • 194
  • 5
Один вопрос - одна тема, пожалуйста.
Я хочу в итоге сделать отчет по теме "нагрузка CPU сайтом или как бороться с ботами"
*

ChaosHead

  • Профи
  • 4739
  • 398
Понял.
Можно закрыть через .htaccess, попробуй пропиши
Код
ErrorDocument 404 /index.php/component/user/?task=register
*

ShamilHan

  • Осваиваюсь на форуме
  • 194
  • 5
Понял.
Можно закрыть через .htaccess, попробуй пропиши
Код
ErrorDocument 404 /index.php/component/user/?task=register
не помогло, продолжает открывать страницу
*

capricorn

  • Практически профи
  • 1687
  • 105
если бы был DDoS, то хостер сам бы закрыл сайт. Анти спам стоит на регистрацию?
*

ChaosHead

  • Профи
  • 4739
  • 398
Да видишь, у него проблемы не в том, хостер зверствует. Пара человек перешла на сайт - уже превышение нагрузки. А человек думает, что реально проблема у него и урезает всё, что можно. Но это путь в никуда, т.к. при росте посещаемости так и так нагрузка вырастет.
*

capricorn

  • Практически профи
  • 1687
  • 105
тут есть 2 варианта. первый - на сайте стоит варез. второй - повреждена БД, которую надо отремонтировать.

никакой "левый" бот не будет долбить сайт. по одной простой причине - это денег будет стоить немаленьких хозяину бота. поддосят немножко и отстанут.

« Последнее редактирование: 27.05.2015, 23:53:54 от capricorn »
*

ShamilHan

  • Осваиваюсь на форуме
  • 194
  • 5
Поставил компонент RSFirewall, закрыл доступ всем странам которые не имели в принципе активности на сайте в виде реальных посетителей. Посмотрим что выйдет из этого.
Я честно говоря устал банить IP в файле .htaccess даже целыми подсетями банить начал )))
на смену забаненым приходят новые
*

capricorn

  • Практически профи
  • 1687
  • 105
ШамильХан, надо логи смотреть.

Цитировать
Смотрел логи, заметил что некоторые IP делают в секунду по 20-30 запросов продолжительностью 4-5 секунд

Длительность запроса - это ты выдумал.

Выложи лог доступа к сайту под спойлер.
*

ShamilHan

  • Осваиваюсь на форуме
  • 194
  • 5
ШамильХан, надо логи смотреть.

Длительность запроса - это ты выдумал.

Выложи лог доступа к сайту под спойлер.
Спойлер
[свернуть]
*

capricorn

  • Практически профи
  • 1687
  • 105
ничего подозрительного в логе нет.

за исключением этого:

*.*.*.*- - [27/May/2015:23:20:33 +0300] "GET /templates/yoo_balance/images/background/plain/page.jpg HTTP/1.1" 200 593 "***" "Mozilla/5.0 (iPhone; CPU iPhone OS 8_1_3 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Mobile/12B466"


Это легально приобретенный шаблон?


« Последнее редактирование: 28.05.2015, 01:25:25 от capricorn »
*

flyingspook

  • Профи
  • 3619
  • 236
если стоит мобильная версия сайта то попробуйте просто на время её отключить
*

ShamilHan

  • Осваиваюсь на форуме
  • 194
  • 5
ничего подозрительного в логе нет.

за исключением этого:

*.*.*.*- - [27/May/2015:23:20:33 +0300] "GET /templates/yoo_balance/images/background/plain/page.jpg HTTP/1.1" 200 593 "***" "Mozilla/5.0 (iPhone; CPU iPhone OS 8_1_3 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Mobile/12B466"


Это легально приобретенный шаблон?

Наврятли легальная
*

voland

  • Профи
  • 9498
  • 422
  • Эта строка съедает место на вашем мониторе
Наврятли легальная
25 сообщений впустую!
На свалку!
*

ChaosHead

  • Профи
  • 4739
  • 398
Точно на свалку. Автор, купи шаблон, сделай сайт по новой. Пройдёт время, однажды проснёшься и поймёшь: блин, так они же могут на верезных сайтах в шаблоны вставлять абсолютно любые свои скрипты, а у меня на сайте нет антивируса! Абсолютно любые скрипты, Карл и нет антивируса! ... Так вот почему так много сайтов с варезными шаблонами!
« Последнее редактирование: 28.05.2015, 22:52:03 от ChaosHead »
*

ShamilHan

  • Осваиваюсь на форуме
  • 194
  • 5
почему же сразу на свалку? Хотите сказать что шаблон с вирусом?
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться
 

Ребят, подскажите модуль (расширение) для добавления на сайт Слайда с новостями

Автор Ирина Поехали

Ответов: 1
Просмотров: 83
Последний ответ 13.09.2017, 11:07:36
от NewUsers
Медленно загружается сайт

Автор katerina37

Ответов: 17
Просмотров: 382
Последний ответ 12.05.2017, 16:28:39
от dmitry_stas
Ищу специалиста на Joomla 2.5.9 + К2, который приведет сайт в порядок

Автор RuslanKazan

Ответов: 0
Просмотров: 303
Последний ответ 24.09.2016, 01:03:03
от RuslanKazan
Исчезает сайт

Автор dimasan57

Ответов: 0
Просмотров: 283
Последний ответ 17.01.2016, 14:38:10
от dimasan57
Как при помощи Developers Tools найти из какого файла компонента выводится текст на сайт?

Автор vovchikku

Ответов: 8
Просмотров: 407
Последний ответ 15.12.2015, 10:45:34
от vovchikku