Новости Joomla

Joomla 6 нуждается в вашей помощи с тестированием.Вышел недавно релиз Joomla 6 alpha1

Joomla 6 нуждается в вашей помощи с тестированием.Вышел недавно релиз Joomla 6 alpha1

👩‍💻 Joomla 6 нуждается в вашей помощи с тестированием.Вышел недавно релиз Joomla 6 alpha1. Это релиз, в который включены уже проверенные изменения, но ещё очень многие исправления и улучшения ждут своей очереди. Joomla следит за качеством и безопасностью своего кода и каждое изменение должно быть успешно протестировано как минимум ещё двумя участниками сообщества. Разработка Joomla ведётся на платформе GitHub.Филипп Уолтон (Philip Walton) - один из разработчиков, кто активно вносит свой вклад в ядро Joomla. Он уже несколько месяцев посвящает свои послеполуденные часы пятницы работе с Joomla и предлагает присоединиться к нему. 📆 Пятница, 30 мая 2025, с 15:00 до 17:00 по UTC (Лондон) - с 18:00 до 20:00 по Москве.В чате Google Meet Филипп готов помочь с тестированием тем, кто будет делать это в первый раз. А так же он подготовил список лёгких Pull Request, которые можно протестировать довольно быстро. Чем больше тестов будет проведено сейчас, тем меньше ошибок вылезет потом. На данный момент 148 (уже 147 на момент написания заметки) PR на GitHub Joomla ждут тестирования.👩‍💻 Open to all. All together.Также вам поможет сделать первые шаги это видео.GitHub JoomlaДа, это вечер пятницы. Но тестирование занимает порой минут 15, а доброе дело сделано. Просто убедитесь, что разработчик чего-то не пропустил и всё работает как ожидается.#joomla #joomla6 #community

0 Пользователей и 1 Гость просматривают эту тему.
  • 42 Ответов
  • 6957 Просмотров
*

vitzer

  • Захожу иногда
  • 303
  • 5 / 0
Рост CPU Usage
« : 06.01.2017, 02:14:20 »
Сайт vvm-auto.ru, хостинг hc.ru, тариф - виртуальный хостинг.
В последнее время увеличилась нагрузка на сервер, а именно на процессор: увеличилось значение CPU Usage.
Нагрузка стала расти под Новый Год, когда траффик падал (см. вложения).
Ошибок никаких нет.
Включено стандартное кэширование Joomla.
По колесам пинал, фары протирал: КЭШ чистил, ucm history в БД чистил. Не помогло.
Написал хостеру. Говорит идите в SSH, смотрите логи:
"С помощью SSH-доступа к хостингу можно получить статистику за прошедший день, выполнив команды:

1) Список IP-адресов наиболее активных посетителей:

cat ~/logs/custom_log.previous | cut -d' ' -f1 | sort | uniq -c | sort -n | tail

2) Список наиболее популярных запросов к сайту:

cat ~/logs/custom_log.previous | cut -d'"' -f2 | cut -d' ' -f2 | sort | uniq -c | sort -n | tail"

Но мне кажется, что посетители здесь не причем. Траффик не аномальный.

Что подскажите, куда копать?

P.S. За 8-летнюю историю работы с хостингом подобные прецеденты случались. Сайт валился. Я писал письма. Мне отвечали, что тупит движок CMS. Но со временем все само-собой решалось. Подобных проблем не было уже, наверное, года два.
*

draff

  • Гуру
  • 5801
  • 434 / 7
  • ищу работу
Re: Рост CPU Usage
« Ответ #1 : 06.01.2017, 10:00:41 »
Проверить IP, и если не соответствует направлению сайта- по региону, тематике, банить .
*

wishlight

  • Гуру
  • 5050
  • 314 / 1
  • От 300 руб быстрый хостинг. Сервера.
Re: Рост CPU Usage
« Ответ #2 : 06.01.2017, 10:48:00 »
Боты ломятся или хостер хочет на тариф выше перевести.
*

vitzer

  • Захожу иногда
  • 303
  • 5 / 0
Re: Рост CPU Usage
« Ответ #3 : 06.01.2017, 10:56:05 »
Отписался хостер. Принес извинения за неточность информации: по SSH я никакой информации получить не смогу - не тот тариф.
В итоге, все как и раньше. После переписки нагрузка незначительно упала. Но все равно, значения не те, что были прежде - довольно высоки.
*

capricorn

  • Завсегдатай
  • 1949
  • 118 / 3
Re: Рост CPU Usage
« Ответ #4 : 06.01.2017, 11:39:47 »
без ssh не проверить. надо смотреть какие процессы грузят цпу. вас скорее всего боты ддосят. их надо банить.
почему нет доступа к ssh, там же с бд есть он.
« Последнее редактирование: 06.01.2017, 11:45:30 от capricorn »
*

vitzer

  • Захожу иногда
  • 303
  • 5 / 0
Re: Рост CPU Usage
« Ответ #5 : 06.01.2017, 11:41:28 »
без ssh не проверить. надо смотреть какие процессы грузят цпу. вас скорее всего боты ддосят. их надо банить.
Если бы были боты, то вероятно и траффик на счетчиках посещений был бы аномально большим? Или я заблуждаюсь, и надо ориентироваться на что-то другое?
*

capricorn

  • Завсегдатай
  • 1949
  • 118 / 3
Re: Рост CPU Usage
« Ответ #6 : 06.01.2017, 11:46:56 »
Цитировать
Если бы были боты, то вероятно и траффик на счетчиках посещений был бы аномально большим
нет. боты на обычные счетчики не влияют. надо на исходящий траффик смотреть в отчетах и процессы в ssh.

*

vitzer

  • Захожу иногда
  • 303
  • 5 / 0
Re: Рост CPU Usage
« Ответ #7 : 06.01.2017, 13:12:46 »
Полез в логи посещений. Скачал файл размером 50 Мб за 05.01 15:50 - 06.01 11:55
Посмотрел внимательно (насколько умею).
Поиском прошерстил файл со словом bot и получил 12 000 результатов.
Из них более 7000 содержат yandex.com/bots
Примерный вид строки:

GET   141.8.132.45   05/01/2017 15:52:18   http://vvm-auto.ru/peugeot/982-peugeot-307   R:    UA: Mozilla/5.0 (compatible; YandexDirect/3.0; +http://yandex.com/bots)   1d62971f0608fcfa9e141e80734eb4b9

GET   157.55.39.87   05/01/2017 15:52:25   http://vvm-auto.ru/chevrolet/24-chevrolet-captiva-c-100-tipichnyj-koreets   R:    UA: Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)   9045bf6e13b3e006f1b1c5a5b6ff4829

* GET   66.249.76.111   05/01/2017 15:53:54   http://vvm-auto.ru/peugeot/776-peugeot-407   R:    UA: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)   6ebc438fdf47a8c2b70a3648b43e9dd2

Это и есть боты?
« Последнее редактирование: 06.01.2017, 13:23:42 от vitzer »
*

wishlight

  • Гуру
  • 5050
  • 314 / 1
  • От 300 руб быстрый хостинг. Сервера.
Re: Рост CPU Usage
« Ответ #8 : 06.01.2017, 13:48:30 »
Боты. crawl-delay можно написать. Чет голимый какой-то выходит этот хостинг.
*

vitzer

  • Захожу иногда
  • 303
  • 5 / 0
Re: Рост CPU Usage
« Ответ #9 : 06.01.2017, 13:58:36 »
Боты. crawl-delay можно написать. Чет голимый какой-то выходит этот хостинг.
Изменил час назад crawl-delay с 10 на 15. Субъективно нагрузка снизилась процентов на 20%.
GET запрсоов за сутки 70 000 из них от ботов - 7 000. Сравнил с данными за 08.12, когда все было тип-топ: 89 000 и 12 200 соответственно. В ботах ли дело?
« Последнее редактирование: 06.01.2017, 15:04:01 от vitzer »
*

capricorn

  • Завсегдатай
  • 1949
  • 118 / 3
Re: Рост CPU Usage
« Ответ #10 : 06.01.2017, 17:48:56 »
Цитировать
В ботах ли дело?

у меня в конце прошлого года была такая ситуация - сайт на моем сервере просто иногда не открывался. в отчетах нагрузка системы превышала 1 и нагрузка ЦПУ тоже была большой. поймал несколько таких моментов, смотрел лог доступа - шли непрерывные запросы с определенных IP диапазонов. кажется было так - чуть ли не в секунду по несколько. подтвердить не могу - логи обновлены и затерты системой. но нормальный поисковый бот не будет сайт валить. баню в .htaccess по первым двум октетам. попался также 141.8 как у вас. нагрузка моментально падает и сайт начинает открываться. так я забанил пока 3 диапазона.

Order Allow,Deny
Deny from 130.193.
Deny from 141.8.
Deny from 46.229.
Allow from all

тем не менее я вижу сейчас в логе IP адреса с ними. в т.ч. IP 141.8.*.* проверил - это Yandex. но бан работает, т.к. если свой IP так забанить то сайт отказывает в доступе.

как объяснить эту ситуацию я не знаю. но бан помогает. в веб-мастере Yandex сообщений насчет доступа его робота нет.
*

vitzer

  • Захожу иногда
  • 303
  • 5 / 0
Re: Рост CPU Usage
« Ответ #11 : 06.01.2017, 18:14:43 »
А кто знает, это штука работает?
http://stackoverflow.com/questions/9942276/how-to-block-bad-unidentified-bots-crawling-my-website
А то у меня Awast на первом месте показывает роботов с неопределенными именами, типа: +:,.;/\-)
Вот код, который предлагают в ссылке:
Спойлер
[свернуть]
*

vitzer

  • Захожу иногда
  • 303
  • 5 / 0
Re: Рост CPU Usage
« Ответ #12 : 06.01.2017, 18:42:05 »
Интересно. Переписывался-переписывался с хостером и вот ответ:
"Здравствуйте!

Ваша заявка передана на исполнение в отдел системного администрирования.
По результатам выполнения мы обязательно уведомим Вас дополнительным письмом в рамках данной переписки."
А до этого, что за ответы и советы присылали с тех поддержки?
hc.ru  :D вы там в порядке?  :o или  *DRINK*
« Последнее редактирование: 06.01.2017, 18:46:26 от vitzer »
*

capricorn

  • Завсегдатай
  • 1949
  • 118 / 3
Re: Рост CPU Usage
« Ответ #13 : 06.01.2017, 20:18:04 »
Цитировать
А кто знает, это штука работает?

Она должна работать, если уже известно, кого именно надо банить.

У меня были подозрения на возможность подделки IP адреса и User-Agent в GET запросе. Вернее это реально. Точно уже не помню что было в логе на момент перегрузки у меня, поэтому не буду высказывать предположения. Но кажется также нечто типа вполне разумного - yandex bot и др.

Всякое может быть, не обязательно "плохие" боты, поэтому для более объективного анализа нужна информация о том, когда была точно повышенная нагрузка и лог на этот момент. Обычно резко нарастает и спадает в течение краткого периода. Вряд-ли ваш сайт кому-то сильно насолил. Хостер тут не причем. Очень желательно иметь доступ к терминалу ssh.





« Последнее редактирование: 06.01.2017, 20:26:20 от capricorn »
*

vitzer

  • Захожу иногда
  • 303
  • 5 / 0
Re: Рост CPU Usage
« Ответ #14 : 06.01.2017, 20:29:15 »
Вряд-ли ваш сайт кому-то сильно насолил. Хостер тут не причем.
Нужен он школьникам или кому-то еще, не знаю. Сайт постоянно взламывали. Спасибо Ревизум - запечатали.
Воспользовался вашим советом и прописал в htaccess запрет на ip: два диапазона IP совпали с вашим и один нашел свой. Судя по логам, переходы с запрещенных IP прекратились, но нагрузка на сайт не упала: скачет, как шальная лошадь. Да и ответ сервера то в ТУ, то переваливает за 2 секунды. Похоже причина в чем-то другом.
*

capricorn

  • Завсегдатай
  • 1949
  • 118 / 3
Re: Рост CPU Usage
« Ответ #15 : 06.01.2017, 21:39:53 »
понаблюдайте за массовыми визитами в том же ключе некоторое время. отчеты не сразу обновляются. пока не готов что-либо посоветовать. домен пингуется нормально. в ssh смотрите нагрузку командой top - какие процессы грузят сервер. и возможно есть смысл проверить исходящие соединения командой netstat.
« Последнее редактирование: 06.01.2017, 21:53:04 от capricorn »
*

vitzer

  • Захожу иногда
  • 303
  • 5 / 0
Re: Рост CPU Usage
« Ответ #16 : 06.01.2017, 22:04:02 »
понаблюдайте за массовыми визитами в том же ключе некоторое время. отчеты не сразу обновляются. пока не готов что-либо посоветовать. домен пингуется нормально. в ssh смотрите нагрузку командой top - какие процессы грузят сервер. и возможно есть смысл проверить исходящие соединения командой netstat.
netstat не работает, а top выдает такую картину:

top - 22:00:39 up 50 days, 17:30,  0 users,  load average: 14.26, 11.49, 11.80
Tasks:   4 total,   1 running,   3 sleeping,   0 stopped,   0 zombie
Cpu(s): 14.7%us, 70.7%sy,  1.2%ni, 10.7%id,  0.9%wa,  0.0%hi,  0.2%si,  1.7%st
Mem:  31010164k total, 28734680k used,  2275484k free,  2790284k buffers
Swap:  2000088k total,  1322572k used,   677516k free, 16545332k cached

    PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
 314850 c16114    20   0 14896 1228  996 R  0.3  0.0   0:04.34 top
 299648 c16114    20   0  359m  19m  16m S  0.0  0.1   1:59.54 lsphp
 314304 c16114    20   0  109m 2024  836 S  0.0  0.0   0:00.06 sshd
 314305 c16114    20   0 11448 1756 1396 S  0.0  0.0   0:00.10 bash


Что это - сейчас буду пытаться разбираться...

Почитал, что все это значит и понял, что ничего не понял. Точнее понял, что грузит, а что грузит - все равно не понял.
« Последнее редактирование: 06.01.2017, 23:39:52 от vitzer »
*

capricorn

  • Завсегдатай
  • 1949
  • 118 / 3
Re: Рост CPU Usage
« Ответ #17 : 07.01.2017, 00:17:39 »
подождите ответа системщиков хц. если бы вы превышали систематически квоту на CPU вас бы заблокировали. мне кажется ошибка в отчете.




« Последнее редактирование: 07.01.2017, 00:26:47 от capricorn »
*

vitzer

  • Захожу иногда
  • 303
  • 5 / 0
Re: Рост CPU Usage
« Ответ #18 : 07.01.2017, 00:20:01 »
подождите ответа системщиков хц.
сайт работает нормально?
Только если не брать в расчет плавающее время ответа сервера (от норм до 3,5 сек), то все ок.
Да, и ошибочки посыпались в Cpanel по заблокированным IP яндекс-бота.
« Последнее редактирование: 07.01.2017, 00:28:57 от vitzer »
*

capricorn

  • Завсегдатай
  • 1949
  • 118 / 3
Re: Рост CPU Usage
« Ответ #19 : 07.01.2017, 00:28:02 »
Цитировать
Только если не брать в расчет плавающее время ответа сервера (от норм до 3,5 сек)

уточните что вы имеете ввиду?
*

vitzer

  • Захожу иногда
  • 303
  • 5 / 0
Re: Рост CPU Usage
« Ответ #20 : 07.01.2017, 00:32:47 »
уточните что вы имеете ввиду?
При проверке ответа сервера, например через Вебмастер Яндекса или PageSpeed Insights время ответа сервера колеблется от "стандартных" 50-150 мс до умопомрачительных 600-900 и выше (в момент нагрузки близкой к пиковой).
Раньше всегда было стабильно 50-150 мс.
В общем, жду ответа хостера.
« Последнее редактирование: 07.01.2017, 00:40:37 от vitzer »
*

ProtectYourSite

  • Живу я здесь
  • 2364
  • 137 / 4
  • Безопасность вебсайтов
Re: Рост CPU Usage
« Ответ #21 : 07.01.2017, 00:41:09 »
Ошибок исполнения скриптов нету? Как вариант подключать неиспользуемые модули, мне к примеру в одном случае помогло отключение awstats.
*

capricorn

  • Завсегдатай
  • 1949
  • 118 / 3
Re: Рост CPU Usage
« Ответ #22 : 07.01.2017, 00:46:15 »
все вроде нормально.

как вы определяете что наступила пиковая нагрузка?
*

vitzer

  • Захожу иногда
  • 303
  • 5 / 0
Re: Рост CPU Usage
« Ответ #23 : 07.01.2017, 00:47:07 »
Ошибок исполнения скриптов нету? Как вариант подключать неиспользуемые модули, мне к примеру в одном случае помогло отключение awstats.
Нет, в логах ошибок все чисто. Неиспользуемые модули поотключал первым делом. А вот awstats "легально" не отключается. По моему только удалением файлов каталоге.
*

vitzer

  • Захожу иногда
  • 303
  • 5 / 0
Re: Рост CPU Usage
« Ответ #24 : 07.01.2017, 00:53:27 »
как вы определяете что наступила пиковая нагрузка?
Пиковую нагрузку определяю по информации в Cpanel: выводится табличка и графики. С 00:20 до 00:35 все было Ок - полный штиль. А теперь снова рост и в 0:48 ответ сервера 0,99 секунды.
Во вложении данные за последний час 00.00-0.50
« Последнее редактирование: 07.01.2017, 00:58:50 от vitzer »
*

capricorn

  • Завсегдатай
  • 1949
  • 118 / 3
Re: Рост CPU Usage
« Ответ #25 : 07.01.2017, 01:05:04 »
все OK. 20% это нормально. завтра посмотрите - будет тот же самый график. это сервер хостера управляет ресурсами.
« Последнее редактирование: 07.01.2017, 01:15:25 от capricorn »
*

vitzer

  • Захожу иногда
  • 303
  • 5 / 0
Re: Рост CPU Usage
« Ответ #26 : 07.01.2017, 01:16:17 »
все OK. 20% это нормально. завтра посмотрите - будет тот же самый график. это сервер хостера управляет ресурсами.
Может я и вправду параноик?
Но раньше таких графиков не было.
Во вложении график за 06.01
И когда вы написали Ок, ответ сервера через PageSpeed составил 0,76 секунд, а через пару минут 0,24. А пока писал эти строки снова - 0,96. Раньше всегда было стабильно - меньше 0.20 сек. В декабре переделывал много страниц и проверял через PageSpeed, никогда не было сбоев.
По моему сервер лихорадит. Грипп))) Или я параноик?
« Последнее редактирование: 07.01.2017, 01:19:40 от vitzer »
*

capricorn

  • Завсегдатай
  • 1949
  • 118 / 3
Re: Рост CPU Usage
« Ответ #27 : 07.01.2017, 01:26:54 »
вы же не один в очереди на онлайн проверку. не хочу грузить вас.
дождитесь ответа хостера. потом обсудим.
*

vitzer

  • Захожу иногда
  • 303
  • 5 / 0
Re: Рост CPU Usage
« Ответ #28 : 07.01.2017, 21:45:54 »
И все-таки это школьный DDDOS.
Одного урода поймал с 16.22 через 1-2-3 секунды 1708 запросов:
GET   46.253.221.230   07/01/2017 21:16:28   http://vvm-auto.ru/component/jcomments/captcha/29467   R: http://vvm-auto.ru/mercedes/1166-mercedes-cl-c140   UA: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.100 YaBrowser/16.11.1.673 Yowser/2.5 Safari/537.36   d181c69d67374a96e7d9675c6500632a
Заблокировал, но нагрузка не упала.
« Последнее редактирование: 07.01.2017, 22:20:43 от vitzer »
*

vitzer

  • Захожу иногда
  • 303
  • 5 / 0
Re: Рост CPU Usage
« Ответ #29 : 07.01.2017, 22:22:10 »
До сих пор долбит. Придурок.
А кто знает: если IP в htaccess заблокирован нагрузка все равно на сервер большая? Что-то нагрузку не сильно отпускает.
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться