Сильная нагрузка на сервер. Кто как решил?

[SNEg]

Тема как-то обсуждалась на ру-мамбо, но как-то тихо. Последнее время очень часто приходят злостные письма от хостера о сильной нагрузке на сервер. Вот и озадачился. Неужели у остальных такого не возникает? Или их хостеры просто молча на это всё забивают?! Если кто сталкивался конкретно, то расскажите о своих решениях этой ситуации. По логам нагрузка возникает в основном из-за посещения сервера поисковиками. Но свой сервер и отключение для поисковиков не предлагать. Иначе смысл какой.  ???

[Sergey]

У таоих ресурсов посещаемость какая?

[smart]

что установлено из сторонних компонентов? SEF404? какая-нибудь статистика посещений? в принципе старые версии Simpleboard прилично могли грузануть сервер, конечно при большом количестве посещений

[SNEg]

Посещаемость : до 500 просмотров в день, уникальных посетителей около 50-100 гдето.
SEF родные. Как с поисковиками бороться добрыми средствами, точнее как их подружить с Джумлой И есть ли способ запредить индексировать содержимое форума?

[smart]

Как с поисковиками бороться добрыми средствами, точнее как их подружить с Джумлой

хм, да дружат они с Джумлой, никаких проблем не было вроде никогда...

И есть ли способ запредить индексировать содержимое форума?

да, можно, настроив соотв. образом robots.txt

[SNEg]

хм, да дружат они с Джумлой, никаких проблем не было вроде никогда...

Сейчас изучал лог сервера. Пришел Яндекс и в этот момент всё и произошло
В остальное время всё вроде в пределах нормы.

да, можно, настроив соотв. образом robots.txt

А в каком виде прописать туда строку для запрета? Вообщем как это должно выглядеть примерно?

Кстати если компонент разрешен тока для зарегистрированных пользователей, то поисковики его могут индексировать или нет у них прав на это?

[Shimon]

Сейчас изучал лог сервера. Пришел Яндекс и в этот момент всё и произошло
В остальное время всё вроде в пределах нормы.А в каком виде прописать туда строку для запрета? Вообщем как это должно выглядеть примерно?

Примерно так:

Код:

User-agent: *
Disallow: /forum/

Или так:

Код:

User-agent: googlebot
Disallow: /forum/

(замниш googlebot на яндекс - я не знаю как его бот прописывается)
ЗАМЕЧАНИЕ: файл должен создаваться ТОЛЬКО в редакторе, который умеет заканчивать строки по *NIX стандарту, иначе, как написано тут можеш даже не пытаться.
Кстати всю информацию я взял оттуда - первая страница при поиске в гугле.

Кстати если компонент разрешен тока для зарегистрированных пользователей, то поисковики его могут индексировать или нет у них прав на это?

Насколько я знаю - нет.

[SNEg]

У меня уже прописана строка:  Disallow: /components/  следовательно по идее он не должен лезть в форум,
но это не помогает, всёравно содержимое форума индексируется.

А можно ли запретить это вот такой ссылкой:
http://www.snegok.ru/component/option,com_simpleboard/Itemid,57/
или такое не правильно?

[arab]

У меня уже прописана строка:  Disallow: /components/  следовательно по идее он не должен лезть в форум,
но это не помогает, всёравно содержимое форума индексируется.

А можно ли запретить это вот такой ссылкой:
http://www.snegok.ru/component/option,com_simpleboard/Itemid,57/
или такое не правильно?

возможно что Disallow: /components/ не помогает так как робот идет по ссылке snegok.ru/component/ без пресловутого S

на всякий случай добавьте такие строки

User-agent: *
Disallow: /forum/
Disallow: /component/
Disallow: /components/

[Shimon]

возможно что Disallow: /components/ не помогает так как робот идет по ссылке snegok.ru/component/ без пресловутого S

A откуда вообще появилась идея об component без s? Чтото я нигде не встречал такого пути.
В любом случае индексатор можнет идти к форуму по примому пути, минуя Joomla! - поэтому нужен вот этот вариант добавить:

User-agent: *
Disallow: /forum/

[arab]

A откуда вообще появилась идея об component без s? Чтото я нигде не встречал такого пути.

http://www.snegok.ru/component/option,com_simpleboard/Itemid,57/

ссылка работает, значит робот может по ней пройти.

[SNEg]

Короче выгнали меня с обычного тарифа всё-таки. Переехал на VIP-тариф. Бабло за него  . Вообщем две МамбоДжумлы выходят за рамки обычного хостинга.

[Adam Bazaroff]

Возможно тебя просто "продинамили". Всмысле запугали, заболтали и вынудили переехать на другой тариф, содрав, естественно, энное количество убитых енотов.

Что за хостер кстати?

[SNEg]

Да нет. У них автоматическая рассылка о нагрузке. Терпели долго. Но что оптимизировать в Мамбе я не знаю. Вот и решил сменить тариф после окончательных предупреждений. А по качеству они на высоте. Я многих пробовал. БизХост.ру. На Петерхост.ру предупреждений не приходило например, так там и сайты еле работали.

[omut]

Тоже хостер жалуется на большую загрузку сервера
Из установленного - Joomla 1.0.7, SMF 1.1 RC2, Coppermine 1.4.3 + мост между ними всеми, да и + сторонняя статистика (cnstats).
При отключенном кеше - кол-во запросов на фронтпейдже - 65 запросов - можно чуть снизить убрав названия и ссылки на секции и категории - кол-во выводимых новостей 10.
Посещаемость - 3.000 ун. и до 30.000 хитов
Что еще можно сделать для снижении нагрузки на сервер, помогите советом уважаемое сообщество ...  Иначе чувствую ждет меня судьба вышевысказывавшегося участника ....

[serverok]

...<skip>...
Что еще можно сделать для снижении нагрузки на сервер, помогите советом уважаемое сообщество ...  Иначе чувствую ждет меня судьба вышевысказывавшегося участника ....

Вынудить хостера купить или арендовать приличный сервер, а не машину на процесоре Целерон с 512Мб оперативки и винтом на IDE.

Вообще, что за хостер и что у него за машинки стоят? УРЛ в студию.

[yvanoff]

У меня тоже была точно такая ситуация.
Это при том, что мой сайт новый и там посетителей - то было крохи - ну мегабайт 400 трафика в месяц. А в один момент Яндекс как налетел и нагрузил мегов 800 за пару дней. Ну и хостинговый сервак нагрузился более чем на 5% - мне тоже пригрозили - пришлось изучать блоги и синтаксис robots.txt 
В общем вот что накопал - дело в том, что поисковики могут ходить по страницам и через SEF и напрямую через index.php а кроме того при передаче разных параметров они могут воспринимать одну и ту-же страницу как разные, например передавая параметр date=.. (у меня стоял компонент extcalendar, который передает параметр последней просмотренной даты при переходе по любой ссылке с него) в результате они ходят по циклу лишь меняя даты в строке параметров.
Кроме того, у меня было так, что при 2-3 реальных посетителях по моему сайту лазило сразу пара сотен пауков от Яндекса - то есть он может запустить одновременно несколько сотен процессов и ... повалить серьезный двухпроцессорник .
в общем помогли такие строки
Disallow: /extcalendar/
Disallow: /simpleboard/
Disallow: /forum/
Disallow: /content/
Disallow: /index.php?option=com_extcalendar
Disallow: /index.php?option=com_simpleboard
Disallow: /index.php?option=com_content
Disallow: /index.php?optioncom_extcalendar
Disallow: /index.php?optioncom_simpleboard
Disallow: /index.php?date
Ну, то есть по всем возможным вариантам не нужного ползания пауков по сайту нужно пройтись (анализируя лог) чтобы исключить бестолковую зацикленность, что может легко случиться.

 

[smart]

Disallow: /content/
Disallow: /index.php?option=com_content

хм, так ты отрубаешь даже индексацию контента, что ж ему после этого индексировать-то?

[Wood_Elf]

В стандартной joomla такой роботс.тхт:

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /editor/
Disallow: /help/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /mambots/
Disallow: /media/
Disallow: /modules/
Disallow: /templates/
Disallow: /installation/


Интересно, мои страници будут нормально индексированы? А то что-то яндекс, гугл и другие уже пару дней не находят мой сайт. Хотя давно должены были...
в яндексе делал проверку сайта не нашло ничего.

Советы по составлению роботс для джумлы дадите? Кто как составлял этот фалик интересно.

[raduga]

Интересно, мои страници будут нормально индексированы? А то что-то яндекс, гугл и другие уже пару дней не находят мой сайт. Хотя давно должены были...
в яндексе делал проверку сайта не нашло ничего.

Советы по составлению роботс для джумлы дадите? Кто как составлял этот фалик интересно.

Возьми и сам добавь несколько страниц в Яндекс. Тут же на твой сайт отправится бот яндекса. Или в подписи на форуме поставь ссылку на твой сайт, поисковики быстро тебя найдут. В стандартном роботс.тхт стоит запрет на индексирование того, что не надо индексировать, ничего более.

[lawnard]

У меня молодой сайт посещаемость около 100 человек в день, материала с гулькин нос на сайте + магазин с небольшим кол. товара. А перенагрузки на сервак шли бешенные, да и яндекс еще индексировал на моем сайте 3000 страниц(сам что ли генерил адреса которых нету , причем все страницы которых нет выдавали код 200, т.е что они есть и все ок)

Провайдер тоже писал писма с требование сменить тар. план, причем и тариф сечас не самый дешевый, анализируя пиковые нагрузки и лог фалы добавил в robot.txt три строки
Disallow: /component/option,com_bookmarks/
Disallow: /index.php?option=com_search
Disallow: /index.php?phpshop
 и удалил компонент обмена ссылками bookmarks
теперь все ок.

[Shimon]

Disallow: /component/option,com_bookmarks/

Даже в пустой базе он делает больше 40 запросов, у меня с парой тестовых айтемов делал 100+
мораль - если не нужно такой функциональности - юзай JAddress

[lawnard]

Немного не по теме но

мораль - если не нужно такой функциональности - юзай JAddress

А если нужна то чего юзать?
Мне ссылками позарез меняться нужно. Думал об linkexchange_3.0.2, а она заточуна под жумлу и на мамбо глючит.
Думаю сейчас ставить bookmarks, обратно и отслеживать запросы, а запретами  в robot.txt попробую ограничить все левые запросы, но естественно что бы при этом ссылки индексировались

[JIGSAW]

А вот у меня свой сервак дома стоит. Слабенький (200 МГц проц+200 ОЗУ). На FreeBSD. Сервер начинает падать при одновременном сидении на нем около 50 пользователей. Для такой конфигурации машинки так и должно быть или это что-то не то?! И можно ли оптимизировать работу?! Установлена J! 1.0.8.1 RE + vBulletin 3.5.4 + Datso Gallery 1.32 + файловый архив(почти ничего нет)(Remo****). Ну и моды маленькие типа hexip ???

[jeje]

hi soobshestvu. u menya takayaje prablema.
vsmisle, site inagda ochen zagrujaet mysql. umenya shas stait joomla 1.08. na saite http://www.jeje.ge  unikalnie ip vden okolo 4500 a user online okolo 300 users. pachemu takaya nagruzka na mysql? eta narmalna? i kak mne postupic? xachu zametic sto nagruzka inagda podnimaetsya vadno itoje vremya.

[jeje]

А вот у меня свой сервак дома стоит. Слабенький (200 МГц проц+200 ОЗУ). На FreeBSD. Сервер начинает падать при одновременном сидении на нем около 50 пользователей. Для такой конфигурации машинки так и должно быть или это что-то не то?! И можно ли оптимизировать работу?! Установлена J! 1.0.8.1 RE + vBulletin 3.5.4 + Datso Gallery 1.32 + файловый архив(почти ничего нет)(Remo****). Ну и моды маленькие типа hexip ???

ne eta nenarmala. utebya liba server kriva stait, libo joomlu ne tak postavil. umenya vonline inagda do 700 chelavek sidit i servak ne podaet. moi servak namnogo silni, no vsotaki eta prablema ne on s kompiutera.

[smart]

pachemu takaya nagruzka na mysql? eta narmalna? i kak mne postupic? xachu zametic sto nagruzka inagda podnimaetsya vadno itoje vremya.

во-первых включи кэширование в конфигурации сайта и во всех модулях сайта разреши кэширование информации, это поможет немного снизить нагрузку на базу... а насчет периодичности — посмотри статистику, кто именно нагружает сервер, наверняка бот какого-нибудь поискового сервера

[dreamwind]

Внесу свое слово в данную дискуссию

разворачиваю сайт портальной структуры (юзеров несколько сотен, статей несколько тысяч, фоток несколько тысяч, пару сотен мп3 и прочего), поэтому вопросами оптимизации заинтересовался во вторую голову (в первую -- общей функциональностью

Итак, что дал бенчмарк:

Время загрузки главной страницы: 860 мс -- много (из них порядка 700 уходило на запросы к БД)
начал разбираться. Оказалось, выполняется несколько десятков запросов вида

SELECT m.id FROM #__content AS i LEFT JOIN #__sections AS s ON i.sectionid = s.id LEFT JOIN #__menu AS m ON m.componentid = s.id WHERE m.type = 'content_section' AND m.published = 1 AND i.id = 685;

каждый из них отъедал всего 5,7мс, но в сумме выходило прилично...

Смотрим в код: в части модулей (тот же ньюсфлэш) используется стандартная функцию для определения пункта меню, которому соответствует данный материал, вызывается как-то так
$Itemid    = $mainframe->getItemid( $row->id, 0, 0, $bs, $bc, $gbs );
Все бы ничего, но на каждую ссылку на материал на главной странице шло 2 долнительных запроса к БД

Это хачится врубанием определения Itemid для каждой статьи в общем запросе (в том, который выбирает id статьи, рейтинг ее, например, комментарии к ней и прочее)
Например:

$query = "SELECT a.id, a.fulltext, a.title,a.created_by,u.name as author,m.id as Itemid"
."\n FROM #__content AS a"
."\n LEFT JOIN #__users AS u on u.id = a.created_by"
."\n LEFT JOIN #__menu AS m ON m.componentid = a.sectionid"

Эти хаки помогли уменьшить время до 270 мс (с учетом того, что главная при всех отключенных модулях загружалась за 160 мс -- предполагаю, что это время работы системных обращений к БД и самого пхп движка)

Далее, насчет кэширования
При отключенном -- время обработки главной страницы примерно 266 мс
При включенном (во всех возможных модулях и конфигурации) -- 265 мс

Конечно, что-то дает, но я бы начал с оптимизации запросов к БД -- это наиболее узкое место в джумле
Либо я у не умею настраивать кэширование...

З.Ы. 270мс больше 266 только потому, что 270 -- это еще и время коннекта и проч., а 265 -- время чистой обработки страницы
З.Ы.Ы. тесты проводились с помощью ab (apache benchmark), тестовый сервер = П4, 2,8ГГц, 1Гб. В качестве боевого планируется кластер 2(3) Athlon x64 3Ghz, 1Gb
З.Ы.Ы.Ы. хост http://creative.kupisex.nu

[smart]

Далее, насчет кэширования
При отключенном -- время обработки главной страницы примерно 266 мс
При включенном (во всех возможных модулях и конфигурации) -- 265 мс

давай определимся насчет включенного кэширования: у тебя включен кэш только в глобальных настройках сайта или еще и во всех опубликованных модулях?

[temniy]

он же написал -

При включенном (во всех возможных модулях и конфигурации)