Сильная нагрузка на сервер. Кто как решил?

smart

Администратор
6478
1318 / 15
Хочешь сделать хорошо — сделай!

Re: Сильная нагрузка на сервер. Кто как решил?

« Ответ #30 : 06.05.2006, 00:42:10 »

Цитата: temniy от 06.05.2006, 00:22:52

он же написал -

я специально уточнил, получается, что у него кэш дает выигрыш в 1мс? на стандартной конфигурации Joomla 1.0.7 (на 8-ке я не тестировал, там по-лучше ситуация), при выключенном кэше 94 запроса на главной странице в стандартном шаблоне, при включенном - 19... т.е. разница в 5 раз... слабо верится, что уменьшение в 5 раз количества запросов дает выигрыш во времени всего 1мс...

возможно надо пересмотреть опубликованные модули: может быть какой-то из нестандартных модулей дает повышенную нагрузку.

а отключение определения Itemid нарушает логику работы pathway и привязку модулей к страницам сайта

« Последнее редактирование: 06.05.2006, 01:23:14 от smart »

Записан

Новости Joomla | Joomla 3.x FAQ | JComments | Proofreader

Sedoy

Давно я тут
897
87 / 10
Интересно,в какой кодировке пишут врачи?

Re: Сильная нагрузка на сервер. Кто как решил?

« Ответ #31 : 06.05.2006, 10:25:18 »

я вот тоже хотел бы уточнить меры измерения
у одного "При отключенном -- время обработки главной страницы примерно 266 мс
При включенном (во всех возможных модулях и конфигурации) -- 265 мс"
в мс

у другого "94 запроса на главной странице в стандартном шаблоне, при включенном - 19" в запросах

дело в том (я так думаю) что запрос запросу рознь и время их обработки может быть разным (пару-тройку запросов могут иметь львиную долю всего времени)
поэтому желательно привести это к общему знаменателю
а вообще, то для корректности это должен один общий ресурс (сайт) на котором каждый бы "доказывал" свое ИМХО

Записан

Что б правильно задать вопрос - нужно знать на него ответ!
FAQ по Joomla!
Где скачать шаблоны Joomla Статьи и обзоры Желаю Вам здоровья в личной жизни - живите долго и часто

dreamwind

Захожу иногда
166
27 / 13

Re: Сильная нагрузка на сервер. Кто как решил?

« Ответ #32 : 09.05.2006, 11:28:59 »

господин Смарт, с вашим-то опытом такие вопросы задавать:
я как раз уменьшал запросы к БД, было 112, стало порядка 40 -- поэтому кэширование просто уже не помогало, все, что смог, оптимизировал

Насчет пунктов меню: написано же, загнал определение этого пункта в основной запрос, т.е. получился один запрос на модуль, а не двадцать один

Записан

Re: Сильная нагрузка на сервер. Кто как решил?

« Ответ #33 : 09.05.2006, 12:05:18 »

Цитата: dreamwind от 09.05.2006, 11:28:59

я как раз уменьшал запросы к БД, было 112, стало порядка 40 -- поэтому кэширование просто уже не помогало, все, что смог, оптимизировал

помоему тут прямое противоречие.
Кэш на то и нужен чтобы временно хранить информацию полученную запросом из БД. Соответственно кэширование помогает уменьшать колличество запросов к БД.

Записан

Re: Сильная нагрузка на сервер. Кто как решил?

« Ответ #34 : 09.05.2006, 12:06:31 »

Убрать все лишние модули и компаненты, компоненты интреграции тоже сильно нагружают, второе научится тестировать хостеров , хотябы определить ресцелер или нет , выбирать надо нормальных хостеров со своим дата центром, а не тех которые студенты выкупают места для своих серваков в дата центре , ставят винт 80-160 гигов со слабым процем и накидывают туда кучу сайтов. Еще хуже когда виртуальных несколько серверов.

Записан

dreamwind

Захожу иногда
166
27 / 13

Re: Сильная нагрузка на сервер. Кто как решил?

« Ответ #35 : 09.05.2006, 12:12:20 »

2 Shimon: ИМХО, кэширование для тех, кто не может толком разобраться в структуре запросов, поэтому и пользуются такими костылями. Оно полезно, но нужно сначала в корень копать (зрить, как товарищ Козьма учил), а потом уже кэшировать оставшееся

2 Serg0k: все модули были прочесаны вдоль и поперек на оптимизацию, это само собой разумеющееся
Можно, в принципе, на основе этого топика сделать ман: как оптимизировать сервер под джумлу

Насчет хостинга: я писал про выделенный кластер (т.е. у меня колокейшн, фактически, железо сам подбирал, единственно, не вижу особого смысла ставить САТА вместо ИДЕ -- все равно 90% в оперативе висит)

Записан

Re: Сильная нагрузка на сервер. Кто как решил?

« Ответ #36 : 09.05.2006, 12:20:55 »

Ну SATA намного побыстрее будет процентов 30-40, в оперативку подгружается и выгружается постепенно

Записан

dreamwind

Захожу иногда
166
27 / 13

Re: Сильная нагрузка на сервер. Кто как решил?

« Ответ #37 : 09.05.2006, 12:30:29 »

ты выиграешь 4-5% при переходе с САТА на ИДЕ при прочих оптимизированных компонентах

Записан

Re: Сильная нагрузка на сервер. Кто как решил?

« Ответ #38 : 09.05.2006, 12:34:35 »

Цитата: dreamwind от 09.05.2006, 12:12:20

2 Shimon: ИМХО, кэширование для тех, кто не может толком разобраться в структуре запросов, поэтому и пользуются такими костылями. Оно полезно, но нужно сначала в корень копать (зрить, как товарищ Козьма учил), а потом уже кэшировать оставшееся

Думаю что при последней оптимизации движка (как раз версия 1.0.8 ) разработчики прекрасно осознавали что они оптимизируют и как. И кеширование осталось на поверхности и никто из них еще на сказал - друзья, давайте переставайте кэшировать - не помогает - лучше лезте в код.

У меня по прежнему на frontpage 19-21 запросе при включенном кеше, и 24-26 в блоге. И я не лазил в запросах. Все же как ни странно запросов меньше, чем в тестированном dreamwind.
Кстати - на каком компоненте тестировал?

Записан

dreamwind

Захожу иногда
166
27 / 13

Re: Сильная нагрузка на сервер. Кто как решил?

« Ответ #39 : 09.05.2006, 13:00:49 »

посмотри главную страницу по ссылке, что я давал -- там больше 30 запросов выходит, в любом случае
на блоге у меня где-то 15-20, либо я еще не озабочивался оптимизацией выдачи ссылок

Разработчики оптимизировали обычнуй шаблон, а для каких-то наворотов приходится лезть в код -- нормальная ситуация, главное, что все прозрачно

Записан

smart

Администратор
6478
1318 / 15
Хочешь сделать хорошо — сделай!

Re: Сильная нагрузка на сервер. Кто как решил?

« Ответ #40 : 10.05.2006, 11:46:15 »

Цитата: dreamwind от 09.05.2006, 11:28:59

господин Смарт, с вашим-то опытом такие вопросы задавать:
я как раз уменьшал запросы к БД, было 112, стало порядка 40 -- поэтому кэширование просто уже не помогало, все, что смог, оптимизировал

а я разве что-то неприличное спросил? я просто не смог повторить твоего подвига ни по времени выполнения запросов, ни по количеству... вот и поинтересовался...

Цитата: dreamwind от 09.05.2006, 11:28:59

Насчет пунктов меню: написано же, загнал определение этого пункта в основной запрос, т.е. получился один запрос на модуль, а не двадцать один

да можно в принципе-то и всю CMS переписать, там много лишнего есть... вопрос в другом: надо ли?

Записан

Новости Joomla | Joomla 3.x FAQ | JComments | Proofreader

dreamwind

Захожу иногда
166
27 / 13

Re: Сильная нагрузка на сервер. Кто как решил?

« Ответ #41 : 10.05.2006, 13:07:46 »

возьмите стандартный ньюсфлэш, сделайте там вывод 10 новостей на главную страницу, и посмотрите, сколько при этом запросов будет к БД. У меня было таких модулей штуки три (самое читаеоме, последние обновления, последние комментарии), вот так и получилось

насчет нужно ли: решать каждому самому, устраивает ли его такой уровень работы ЦМС

Записан

Tonik1

Осваиваюсь на форуме
41
2 / 1

Re: Сильная нагрузка на сервер. Кто как решил?

« Ответ #42 : 21.06.2006, 09:18:31 »

Не знаю что там оптимизировали, но у меня как дыло 33 запроса при первом запросе и 22 из кэша - так и осталось.

Записан

Sedoy

Давно я тут
897
87 / 10
Интересно,в какой кодировке пишут врачи?

Re: Сильная нагрузка на сервер. Кто как решил?

« Ответ #43 : 21.06.2006, 09:36:20 »

Цитата: dreamwind от 10.05.2006, 13:07:46

возьмите стандартный ньюсфлэш, сделайте там вывод 10 новостей на главную страницу, и посмотрите, сколько при этом запросов будет к БД. У меня было таких модулей штуки три (самое читаеоме, последние обновления, последние комментарии), вот так и получилось

если все сводиться к тому что бы сокращать вывод контента и модулей то это вряд ли можно считать оптимитизацией, так можно сократиться вообще до "пустой" страницы, я так думаю

и если все инструменты оптимитизации сидят в "правке кода" то это говорит о "слабости" CMS и только
должны быть административные русурсы решения проблемы и если их нет то это очень плохо
ИМХО

Записан

Что б правильно задать вопрос - нужно знать на него ответ!
FAQ по Joomla!
Где скачать шаблоны Joomla Статьи и обзоры Желаю Вам здоровья в личной жизни - живите долго и часто

Re: Сильная нагрузка на сервер. Кто как решил?

« Ответ #44 : 21.06.2006, 12:16:22 »

Цитата: dreamwind от 10.05.2006, 13:07:46

возьмите стандартный ньюсфлэш

1 x колличество модулей - очень много? А если таки включить кэширование, то 0 (ноль) х колличество модулей...

Цитата: dreamwind от 10.05.2006, 13:07:46

сделайте там вывод 10 новостей на главную страницу

1 х колличество модулей + колличество выводимых новостей или меньше (по обстоятельствам), а если включено кэширование, то 0 (ноль) запросов.

Цитата: Sedoy от 21.06.2006, 09:36:20

инструменты оптимитизации сидят в "правке кода"

Куда посадиш, оттуда и вырастет.

Цитата: Sedoy от 21.06.2006, 09:36:20

только
должны быть административные русурсы решения проблемы

Не только. Еще ими нужно пользоваться.

На 1.0.9 первый заход (перед кэшированием) - 34 запроса, 2 заход (после кэширования) - 12 запросов...

Записан

Sedoy

Давно я тут
897
87 / 10
Интересно,в какой кодировке пишут врачи?

Re: Сильная нагрузка на сервер. Кто как решил?

« Ответ #45 : 21.06.2006, 12:38:14 »

Shimon ты че передергиваешь мой текст?

"только" завершает предложение о правке кода, а не начинает про административные рессурсы

а насчет пользоваться - это ты прав, жалко что кроме кеширования их практически нет
да и насчет кеширования в 109, как писал smart в какой то теме они что там перемудрили, надеюсь не сильно

Записан

Что б правильно задать вопрос - нужно знать на него ответ!
FAQ по Joomla!
Где скачать шаблоны Joomla Статьи и обзоры Желаю Вам здоровья в личной жизни - живите долго и часто

Re: Сильная нагрузка на сервер. Кто как решил?

« Ответ #46 : 21.06.2006, 12:42:25 »

Цитата: Sedoy от 21.06.2006, 12:38:14

Shimon ты че передергиваешь мой текст?
"только" завершает предложение о правке кода, а не начинает про административные рессурсы

сорри - по тексту это просто сложно заметить - строка полная и переход абзацев не заметил. Пиши точки плиз в следующий раз.
Про кэширование он имел ввиду помоему достаточно в переносном смысле, поскольку сделано было это для улучшения, и некэшируемых элементов стало меньше - не все каждый раз получется исправить.

Записан

Sedoy

Давно я тут
897
87 / 10
Интересно,в какой кодировке пишут врачи?

Re: Сильная нагрузка на сервер. Кто как решил?

« Ответ #47 : 21.06.2006, 12:48:41 »

если не ошибаюсь то разговор шёл о SEO что то где то не отрабатывало при вкл. кеш и seo - мельком просмотрел поэтому не запомнил точно

Записан

Что б правильно задать вопрос - нужно знать на него ответ!
FAQ по Joomla!
Где скачать шаблоны Joomla Статьи и обзоры Желаю Вам здоровья в личной жизни - живите долго и часто

Re: Сильная нагрузка на сервер. Кто как решил?

« Ответ #48 : 21.06.2006, 12:50:37 »

Цитата: Sedoy от 21.06.2006, 12:48:41

если не ошибаюсь то разговор шёл о SEO что то где то не отрабатывало при вкл. кеш и seo - мельком просмотрел поэтому не запомнил точно

Давай не будем флеймить тут на другую тему, ок?
Он там говорил про проблемы делания бота для управления заголовками страниц.

Записан

yAnTar

Захожу иногда
296
81 / 3

Re: Сильная нагрузка на сервер. Кто как решил?

« Ответ #49 : 12.10.2006, 13:47:40 »

http://php.com.ua/forum/viewtopic.php?t=6628&highlight=joomla

Записан

Firefox the best, Google the best, jQuery the best.
yAnTar блог

Mr.Friction

Захожу иногда
81
1 / 6

Re: Сильная нагрузка на сервер. Кто как решил?

« Ответ #50 : 12.10.2006, 14:47:36 »

Мне тоже хостер матов наприсылал - пришлось отрубить gzip, чпу (чпу - это помоему вообще больное место у джумлы).
Хак - это конечно хорошо, но интерестно вообще разработчики думают что-то на эту тему?
Джумла у меня стоит последняя.

Записан

userxp

Живу я здесь
2019
403 / 6
Злой и ужасный бармалей

Re: Сильная нагрузка на сервер. Кто как решил?

« Ответ #51 : 12.10.2006, 15:10:14 »

2 yAnTar:
ИМХО
своё отношение к галерее я высказывал уже... по тому поводу, насколько грамотно написан скрипт.
не моё дело судить, да и не люблю я этого делать...
раньше я занимался "писаниной" на C++/# - полезная весчь, знаете ли, - вот остаётся привычка делать код максимально чистым и оптимизированным.
я не говорю, что это получается всегда и сразу, но по крайней мере я старюсь...

это не самореклама, а просто изложение отношения к коду.

а приведённый в форуме код говорит сам за себя...

Записан

Как правильно задавать вопрос службе технической поддержки

SGA CM 7.2.0 RC0 KANG Build GWK74 + s95allinonescript + CWM 5.0.2.6 + Modem XWKT3

penstyle

Осваиваюсь на форуме
11
0 / 0

Re: Сильная нагрузка на сервер. Кто как решил?

« Ответ #52 : 18.10.2007, 05:19:28 »

вот хостер выдает

наиболее часто вызываемым скриптом является
/components/com_virtuemart/show_image_in_imgtag.php

средняя "тяжесть" вашего сайта примерно в 1.5 раза выше чем
у магазинов osComerce.

Записан

boston

Захожу иногда
495
222 / 3

Re: Сильная нагрузка на сервер. Кто как решил?

« Ответ #53 : 18.10.2007, 07:35:44 »

>show_image_in_imgtag.php
через этот файл в VM выводится каждое изображение, можно или количество фото уменьшить, или файл этот перепимать на нормальную работу.

Записан

Самая новая Joostina 1.3.0.5 UTF-8 stable | О найденных ошибках сообщаем | Расширения Joostina

penstyle

Осваиваюсь на форуме
11
0 / 0

Re: Сильная нагрузка на сервер. Кто как решил?

« Ответ #54 : 18.10.2007, 13:17:32 »

Цитата: boston от 18.10.2007, 07:35:44

>show_image_in_imgtag.php
через этот файл в VM выводится каждое изображение, можно или количество фото уменьшить, или файл этот перепимать на нормальную работу.

Фото оч мало..
Скажи пожалуста влияет ли размер фото?... и что имено "перепинать"?

Цитировать

define('_VALID_MOS', 1);
include_once("../../configuration.php");
include_once("../../administrator/components/com_virtuemart/virtuemart.cfg.php");

//   Image2Thumbnail - Klasse einbinden
include( CLASSPATH . "class.img2thumb.php");

$basefilename = @basename(urldecode($_REQUEST['filename']));
$filename = IMAGEPATH."product/".$basefilename;
$filename2 = IMAGEPATH."product/resized/".$basefilename;
$newxsize = @$_REQUEST['newxsize'];
$newysize = @$_REQUEST['newysize'];
$maxsize = false;
$bgred = 255;
$bggreen = 255;
$bgblue = 255;

/*
if( !isset($fileout) )
   $fileout="";
if( !isset($maxsize) )
   $maxsize=0;
*/

/* Minimum security */
if( !file_exists( $filename ) && !file_exists( $filename2 )) {
   die('File does not exist');
}

$fileinfo = pathinfo( $filename );
$file = str_replace(".".$fileinfo['extension'], "", $fileinfo['basename']);
// In class.img2thumb in the function NewImgShow() the extension .jpg will be added to .gif if imagegif does not exist.

// If the image is a gif, and imagegif() returns false then make the extension ".gif.jpg"

if( $fileinfo['extension'] == "gif") {
if( function_exists("imagegif") ) {
$ext = ".".$fileinfo['extension'];
$noimgif="";
}
else {
$ext = ".jpg";
$noimgif = ".".$fileinfo['extension'];
}
}
else {
$ext = ".".$fileinfo['extension'];
$noimgif="";
}

if( file_exists($filename2)) {
   $fileout = $filename2;
} else {
   $fileout = IMAGEPATH."/product/resized/".$file."_".PSHOP_IMG_WIDTH."x".PSHOP_IMG_HEIGHT.$noimgif.$ext;
}

// Tell the user agent to cache this script/stylesheet for an hour
$age = 3600;
header( 'Expires: '.gmdate( 'D, d M Y H:i:s', time()+ $age ) . ' GMT' );
header( 'Cache-Control: max-age='.$age.', must-revalidate' );

if( file_exists( $fileout ) ) {
/* We already have a resized image
* So send the file to the browser */

   switch($ext)
      {
         case ".gif":
            header ("Content-type: image/gif");
            readfile($fileout);
            break;
         case ".jpg":
            header ("Content-type: image/jpeg");
            readfile($fileout);
            break;
         case ".png":
            header ("Content-type: image/png");
            readfile($fileout);
            break;
      }
}
else {
    /* We need to resize the image and Save the new one (all done in the constructor) */
   $neu = new Img2Thumb($filename,$newxsize,$newysize,$fileout,$maxsize,$bgred,$bggreen,$bgblue);

   /* Send the file to the browser */
   switch($ext)
      {
         case ".gif":
            header ("Content-type: image/gif");
            readfile($fileout);
            break;
         case ".jpg":
            header ("Content-type: image/jpeg");
            readfile($fileout);
            break;
         case ".png":
            header ("Content-type: image/png");
            readfile($fileout);
            break;
      }
}
?>

Допустим можно в коде убрать форматы не используемые.. gif png но как?.. и поможет ли это?

Записан

boston

Захожу иногда
495
222 / 3

Re: Сильная нагрузка на сервер. Кто как решил?

« Ответ #55 : 19.10.2007, 11:15:07 »

penstyle, не поможет.
Vm проверяет каждый файл изобраджения и выводит его через php скрипт,вот сервер и вешается. Единственное решение - переписать функциии так что бы пути были прямые на изображение.

Записан

Самая новая Joostina 1.3.0.5 UTF-8 stable | О найденных ошибках сообщаем | Расширения Joostina

penstyle

Осваиваюсь на форуме
11
0 / 0

Re: Сильная нагрузка на сервер. Кто как решил?

« Ответ #56 : 24.10.2007, 14:29:09 »

а может это всётаки из за того что модуль последних товаров на каждой странице?...

там картинки выводятся...

Записан

boston

Захожу иногда
495
222 / 3

Re: Сильная нагрузка на сервер. Кто как решил?

« Ответ #57 : 24.10.2007, 16:06:37 »

Может, включи отладку сайта, в самой joomla и внутри vm, посомтри сколкьо запросов, замерь скорость. Скрой моудль последних товаров, замерь скорость.., сравни

Записан

Самая новая Joostina 1.3.0.5 UTF-8 stable | О найденных ошибках сообщаем | Расширения Joostina

penstyle

Осваиваюсь на форуме
11
0 / 0

Re: Сильная нагрузка на сервер. Кто как решил?

« Ответ #58 : 10.11.2007, 23:14:59 »

Цитата: boston от 24.10.2007, 16:06:37

Может, включи отладку сайта, в самой joomla и внутри vm, посомтри сколкьо запросов, замерь скорость. Скрой моудль последних товаров, замерь скорость.., сравни

я просто в шоке, я снял товары с показа... но немагу понять что с этим виртуе мартом творится...
мне ГУгл Мап ругается пишет
"
Переход по URL не выполнен
Когда мы проверили несколько URL из вашего файла Sitemap, то обнаружили, что роботу Google не удалось открыть некоторые URL, потому что в них содержится слишком много переадресаций. Измените в своем файле Sitemap URL, обеспечивающие переадресацию, и замените их URL назначения (целевой страницы переадресации). Все работающие URL будут по-прежнему отправляться.

"

Ошибка HTTP:
URL:
URL:
URL:
Дата появления: 301 (Перемещен окончательно) [?]
.....component/page,shop.browse/category_id,17/option,com_virtuemart/Itemid,33/lang,en/
.....component/page,shop.product_details/flypage,shop.flypage/product_id,50/option,com_virtuemart/Itemid,61/lang,en/
.....component/page,shop.browse/category_id,18/option,com_virtuemart/Itemid,61/lang,en/
09.11.2007

Записан

ritcar

Осваиваюсь на форуме
18
0 / 0

Re: Сильная нагрузка на сервер. Кто как решил?

« Ответ #59 : 17.11.2007, 15:01:45 »

Господа...почитал всю ветку, так и не нашел ответа на вопрос, почему именно Яндекс грузит сервер? Меня хостер замучал, много раз превышал, но рекорд: 17% в течении часа - 10% один процесс Яндекса, 7% другой процесс, и оба процесса грузят файл index.php я в шоке, что делать...?

Записан

"Ошибка загрузки файла на сервер" Автор rasklad	Ответов: 6 Просмотров: 8392	09.01.2011, 16:55:13 от Aleks_El_Dia
Joomla сильно перегружает сервер? :( Автор leko	Ответов: 160 Просмотров: 180913	24.07.2010, 12:31:03 от sonic1978
Установка на Mac на локальный сервер Автор spaynia	Ответов: 9 Просмотров: 9548	22.07.2010, 14:51:44 от boq
Нагрузка при большой посещаемости Автор dmsoh	Ответов: 1 Просмотров: 2829	08.04.2009, 15:39:59 от Physicist
При установке Joomla на сервер проблема! Автор stas1965	Ответов: 2 Просмотров: 3614	21.02.2009, 10:27:12 от stas1965

👩‍💻 Компонент "CS Афиши" для Joomla.

Яндекс выпустил инструмент Видимость сайта в Алисе AI.

👩‍💻 ИИ-админ для Joomla ближе, чем вы думаете: Joomla MCP.

Похожие темы