Форум русской поддержки Joomla!® CMS
09.12.2016, 17:33:44 *
Добро пожаловать, Гость. Пожалуйста, войдите или зарегистрируйтесь.
Вам не пришло письмо с кодом активации?

Войти
   
   Начало   Поиск Joomla 3.0 FAQ Joomla 2.5 FAQ Joomla 1.5 FAQ Правила форума Новости Joomla Реклама Войти Регистрация Помощь  
Страниц: [1]   Вниз
  Добавить закладку  |  Печать  
Автор

Нагрузка на сервер - РЕШЕНО

 (Прочитано 3582 раз)
0 Пользователей и 1 Гость смотрят эту тему.
se_demon
Осваиваюсь на форуме
***

Репутация: +3/-0
Offline Offline

Сообщений: 39


« : 23.10.2009, 01:25:59 »

Многие, при создании посещаемого Портала сталкиваются с проблемой перегрузки сервера. Процессорная нагрузка.
Причем, покупка более дорогих тарифных планов хостинг-провайдера не являются успешным решением, потому как з тоже катастрофически не хватает.
Для того, чтоб максимально снизить нагрузку на процессор необходимо сделать следуюшщее:

1. Выключить все стандартные генераторы человеко-понятных ссылок SEF. И все плагины, которые приводят ссылку в такой вид: http://www.siat.ru/gorod/photo/12  например Artio или sh404SEF.

2. Включить стандартное КЕШирование в файл. (30 минут достаточно)

3. Включить кеширование в настройках каждого модуля.

4. Свести к минимуму использование ajax-фото. Используйте плагин для вставки фотографий в материал, которых открывает их в новом окне. Понты в красивых переходах не актуальны. Используйте плагин SmartResizer: http://joomlaportal.ru/content/view/1797/70/

5. Создайте на FTP в папке с сайтом тектовый файл robots.txt, в который пропишите задержку между скачиваниями поисковыми роботами страниц для индексации. Текст моего файла robots.txt :   

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Crawl-delay: 5 # задает задержку в 5 секунды
__________________________________
После всего выше проделанного, нагрузка на процессор вашего хостера снизится в 5 раз. Проверено мной лично. Ичсло хостов в сутки 2.000+
Записан
trulala
Новичок
*

Репутация: +0/-0
Offline Offline

Сообщений: 5


« Ответ #1 : 23.11.2009, 17:15:57 »

Мой Робот.тхт выглядит так

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Crawl-delay: 5 #
Request-rate: 1/5         # загружать не более одной страницы за пять секунд
Visit-time: 0100-0845     # загружать страницы только в промежуток с 1 ночи до 8:45 по Гринвичу.

Записан
Bright
Осваиваюсь на форуме
***

Репутация: +2/-2
Offline Offline

Пол: Мужской
Сообщений: 185


« Ответ #2 : 17.07.2016, 14:03:06 »

Crawl-delay: 5 #
Request-rate: 1/5         # загружать не более одной страницы за пять секунд
Visit-time: 0100-0845     # загружать страницы только в промежуток с 1 ночи до 8:45 по Гринвичу.
По гуглу:
Crawl-delay - правило, которое не учитывается
Request-rate - синтаксис не распознается
Visit-time - синтаксис не распознается

Понимаю, что ветка старая, но я же на неё нарвался...
Данные взяты из инструмента проверки файлов роботс Googleа(webmasters/tools/robots-testing-tool)
Записан
flyingspook
Профи
********

Репутация: +226/-9
Offline Offline

Сообщений: 3537


« Ответ #3 : 17.07.2016, 21:58:16 »

Разделите в robots.txt ПС и для каждой свои правила прописывайте
для всех
User-agent: *
для Yandex
User-agent: Yandex
для Google
User-agent: Googlebot
Записан
draff
Практически профи
*******

Репутация: +161/-5
Offline Offline

Пол: Мужской
Сообщений: 2659


step by step


« Ответ #4 : 17.07.2016, 22:24:30 »

Цитировать
Crawl-delay - правило, которое не учитывается
Для Яндекса учитывается, если в правильном месте прописать. А правильное место указать временный промежуток для поисковиков сразу, а потом уже прописать правило обработки ссылок.

Код:
Crawl-delay: 40
User-agent: *
Disallow: /administrator/
Проверено на reg.ru и Яндекс.боте. Нагрузка CPU с 25% снизилась до 5-7%. Иначе хостер предлагал перейти на другой тариф.
Записан
Bright
Осваиваюсь на форуме
***

Репутация: +2/-2
Offline Offline

Пол: Мужской
Сообщений: 185


« Ответ #5 : 24.07.2016, 11:21:41 »

Код:
Crawl-delay: 40
User-agent: *
Disallow: /administrator/
Проверено на reg.ru и Яндекс.боте. Нагрузка CPU с 25% снизилась до 5-7%. Иначе хостер предлагал перейти на другой тариф.
Не расслабляйтесь, ибо скоро хостер опять предложит поменять тариф. Дело в том, что директива эта рекомендательная и прислушивается к ней только Яндекс (по крайней мере из серьезных роботов). Googleуна Crawl-delay откровенно плевать и он этого не скрывает, точно так же плевать и всем остальным. Т.е. вы защитились только от Яндекса, а он... он и так не особо на вас нападал, поверьте.

У большинства бедолаг, которых замучила перегрузка ЦП, проблема в сайте, а не внешняя. И хостер как правило прав.
Анализируйте логи посещений и логи ошибок!
Записан
Bright
Осваиваюсь на форуме
***

Репутация: +2/-2
Offline Offline

Пол: Мужской
Сообщений: 185


« Ответ #6 : 24.07.2016, 11:28:34 »

Дел, сорри
« Последнее редактирование: 24.07.2016, 14:23:55 от Bright » Записан
wishlight
Профи
********

Репутация: +201/-1
Offline Offline

Пол: Мужской
Сообщений: 3491


skype aqaus.com


« Ответ #7 : 24.07.2016, 12:14:14 »

Брать нормальный хостинг. Если от ботов загибается, то это печально.
Записан
Bright
Осваиваюсь на форуме
***

Репутация: +2/-2
Offline Offline

Пол: Мужской
Сообщений: 185


« Ответ #8 : 24.07.2016, 14:33:14 »

Брать нормальный хостинг. Если от ботов загибается, то это печально.
Намек на ссылки в вашей подписи понял. Посмотрел. ТОЖЕ ПЕЧАЛЬНО.
У рекламируемого вами хостера тоже стоит ограничение по нагрузке. 12.5% - насколько я понимаю, это 180 минут за 2630 рублей. Неплохо, в принципе, но если хостер не помогает отбиваться от ботов, 180 минут не спасут - у меня недавно случилось 650 минут за сутки. При том, что сайт маленький и легкий, да и посещалка минимальная.
Записан
SeBun
Практически профи
*******

Репутация: +134/-3
Offline Offline

Пол: Мужской
Сообщений: 2287



« Ответ #9 : 25.07.2016, 13:35:03 »

..но если хостер не помогает отбиваться от ботов, 180 минут не спасут - у меня недавно случилось 650 минут за сутки. При том, что сайт маленький и легкий, да и посещалка минимальная.
А какие там у вас боты, если сайт маленький? Поисковики, которые учитывают robots.txt, обычно не грузят так сильно систему. Нагрузку могут давать разного рода сканнеры, а им на прописанные директивы глубоко глубоко до лампочки. Хостер защиту от ботов вам обеспечивать не будет, это не в его компетенции, он лишь может настроить сервер так, что бы не загибался при слишком частых запросах. Поэтому задачу придется решать самостоятельно.

Один из вариантов защиты от спам ботов — блокировка их доступа к сайту в момент доступа к нему. Многие боты не имеют адекватного описания user agent или размещают там какую-то левую информацию. Соответственно дописав в .htaccess следующий код блокируются боты с пустым описанием user agent, с подозрительным описанием или пытающиеся выкачать сайт полностью популярными методами.
   
Код
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^$                                                              [OR]
RewriteCond %{HTTP_USER_AGENT} ^.*(< |>|'|%0A|%0D|%27|%3C|%3E|%00).*                            [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*(HTTrack|clshttp|archiver|loader|email|nikto|miner|python).* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*(winhttp|libwww\-perl|curl|wget|harvest|scan|grab|extract).* [NC]
RewriteRule ^(.*)$ - [F,L]

Вот тут хорошая статья, почитайте.

Так же есть простенькие скрипты, которые запоминают адрес посетителя и не дают ему запускать сайт чаще заданного интервала времени (аналог Request-rate). Можете скачать, попробовать. Ну и наконец смотрите по логам, куда делаются запросы, быть может там банальный брут...
Записан
Bright
Осваиваюсь на форуме
***

Репутация: +2/-2
Offline Offline

Пол: Мужской
Сообщений: 185


« Ответ #10 : 26.07.2016, 10:58:16 »

А какие там у вас боты, если сайт маленький?
Разные Azn За 9 лет существования сайта многое повидал. В первые годы (еще не было сайта, был только форум), даже DDOS "повезло" пережить. Последнее время время рассылка почты с моего аккаунта была. В общем, скучать долго не приходится.

Так же есть простенькие скрипты, которые запоминают адрес посетителя и не дают ему запускать сайт чаще заданного интервала времени (аналог Request-rate). Можете скачать, попробовать. Ну и наконец смотрите по логам, куда делаются запросы, быть может там банальный брут...
Не могли бы угостить ссылочкой на такие скрипты? Желательно на русском.
И что такое "брут"?

PS: за ссылку про .htaccess спасибо! Многое использую, но присмотрюсь внимательней и скорей всего возьму оттуда еще кое-что.
Записан
flyingspook
Профи
********

Репутация: +226/-9
Offline Offline

Сообщений: 3537


« Ответ #11 : 26.07.2016, 12:48:34 »

Брутфорс = брут (сокращенно разговорное)
Записан
SeBun
Практически профи
*******

Репутация: +134/-3
Offline Offline

Пол: Мужской
Сообщений: 2287



« Ответ #12 : 26.07.2016, 16:39:42 »

Не могли бы угостить ссылочкой на такие скрипты? Желательно на русском.
Их много, и они совсем небольшие, конструктивно почти все одинаковые. Вот одна ссылочка. Там старые посты, но разжёвывают суть решения проблемы. Вот ссылочка на этом форуме.
Записан
rush1989
Новичок
*

Репутация: +0/-0
Offline Offline

Сообщений: 1


« Ответ #13 : 28.07.2016, 09:21:30 »

Добрый день! Помогите пожалуйста сменой пароля в Joomla, походу его взломали не могу зайти, выходит неверное имя пользователя и пароль
Записан
Bright
Осваиваюсь на форуме
***

Репутация: +2/-2
Offline Offline

Пол: Мужской
Сообщений: 185


« Ответ #14 : 28.07.2016, 11:56:59 »

Добрый день! Помогите пожалуйста сменой пароля в Joomla, походу его взломали не могу зайти, выходит неверное имя пользователя и пароль

ТЫЦ-ЖМАК!

« Последнее редактирование: 28.07.2016, 12:15:56 от Bright » Записан
SeBun
Практически профи
*******

Репутация: +134/-3
Offline Offline

Пол: Мужской
Сообщений: 2287



« Ответ #15 : 28.07.2016, 13:58:30 »

Помогите пожалуйста сменой пароля в Joomla, походу его взломали не могу зайти, выходит неверное имя пользователя и пароль

Пароль легко сбрасывается через базу данных. Вот статья на эту тему. А вот материал с официального сайта. Если не получиться - там же есть SQL-запрос, который создает нового пользователя с правами администратора, воспользуйтесь им.
Записан
Escander
Осваиваюсь на форуме
***

Репутация: +0/-0
Offline Offline

Сообщений: 198


« Ответ #16 : 12.08.2016, 16:22:10 »

Подскажите, что делать, если нагрузка на сайт выражается в превышении лимита по медленным запросам к БД? Например, лимит 200 тыс. , а по факту бывает, что до 1 млн. доходит. В результате Хостер блокирует сайт. Я вычислил, что такую нагрузку дает модуль для голосования Apoll, когда много людей голосует одновременно. Можно с этим как-то бороться?
Записан
SeBun
Практически профи
*******

Репутация: +134/-3
Offline Offline

Пол: Мужской
Сообщений: 2287



« Ответ #17 : 13.08.2016, 13:55:02 »

Я вычислил, что такую нагрузку дает модуль для голосования Apoll, когда много людей голосует одновременно. Можно с этим как-то бороться?
А это действительно люди или боты счетчик накручивают? Если люди, то, наверное, с таким количеством посетителей вам более мощный сервер нужен.
Записан
Escander
Осваиваюсь на форуме
***

Репутация: +0/-0
Offline Offline

Сообщений: 198


« Ответ #18 : 13.08.2016, 14:36:18 »

Бывает, что и боты, тогда сайт вообще за 10 мин. ложится. Как от ботов спастись? Только регистрацией перед голосованием?
Записан
draff
Практически профи
*******

Репутация: +161/-5
Offline Offline

Пол: Мужской
Сообщений: 2659


step by step


« Ответ #19 : 13.08.2016, 14:44:36 »

Бывает, что и боты, тогда сайт вообще за 10 мин. ложится. Как от ботов спастись? Только регистрацией перед голосованием?
А плагин easycalccheckplus установить ? Или по IP ограничение
Записан
Escander
Осваиваюсь на форуме
***

Репутация: +0/-0
Offline Offline

Сообщений: 198


« Ответ #20 : 13.08.2016, 14:55:25 »

А плагин easycalccheckplus установить ? Или по IP ограничение
Спасибо, прогу посмотрел, но мне кажется она с Аполл не будет работать, там в списке плагинов нет голосовалки. Или можно настроить?
Записан
Страниц: [1]   Вверх
  Добавить закладку  |  Печать  
 
Перейти в:  

Powered by SMF 1.1.21 | SMF © 2006, Simple Machines

Joomlaforum.ru is not affiliated with or endorsed by the Joomla! Project or Open Source Matters.
The Joomla! name and logo is used under a limited license granted by Open Source Matters
the trademark holder in the United States and other countries.

LiveInternet