0 Пользователей и 1 Гость просматривают эту тему.
  • 112 Ответов
  • 68282 Просмотров
*

SNEg

  • Осваиваюсь на форуме
  • 26
  • 4 / 0
Тема как-то обсуждалась на ру-мамбо, но как-то тихо. Последнее время очень часто приходят злостные письма от хостера о сильной нагрузке на сервер. Вот и озадачился. Неужели у остальных такого не возникает? ^-^ Или их хостеры просто молча на это всё забивают?! Если кто сталкивался конкретно, то расскажите о своих решениях этой ситуации. По логам нагрузка возникает в основном из-за посещения сервера поисковиками. Но свой сервер и отключение для поисковиков не предлагать. ;) Иначе смысл какой.  ???
*

Sergey

  • Осваиваюсь на форуме
  • 45
  • 5 / 2
У таоих ресурсов посещаемость какая?
*

smart

  • Администратор
  • 6485
  • 1317 / 15
  • Хочешь сделать хорошо — сделай!
что установлено из сторонних компонентов? SEF404? какая-нибудь статистика посещений? в принципе старые версии Simpleboard прилично могли грузануть сервер, конечно при большом количестве посещений
*

SNEg

  • Осваиваюсь на форуме
  • 26
  • 4 / 0
Посещаемость : до 500 просмотров в день, уникальных посетителей около 50-100 гдето.
SEF родные. Как с поисковиками бороться добрыми средствами, точнее как их подружить с Джумлой ::) И есть ли способ запредить индексировать содержимое форума?
*

smart

  • Администратор
  • 6485
  • 1317 / 15
  • Хочешь сделать хорошо — сделай!
Как с поисковиками бороться добрыми средствами, точнее как их подружить с Джумлой ::)
хм, да дружат они с Джумлой, никаких проблем не было вроде никогда...

И есть ли способ запредить индексировать содержимое форума?
да, можно, настроив соотв. образом robots.txt
*

SNEg

  • Осваиваюсь на форуме
  • 26
  • 4 / 0
хм, да дружат они с Джумлой, никаких проблем не было вроде никогда...
Сейчас изучал лог сервера. Пришел Яндекс и в этот момент всё и произошло :)
В остальное время всё вроде в пределах нормы.
да, можно, настроив соотв. образом robots.txt
А в каком виде прописать туда строку для запрета? Вообщем как это должно выглядеть примерно?

Кстати если компонент разрешен тока для зарегистрированных пользователей, то поисковики его могут индексировать или нет у них прав на это?
« Последнее редактирование: 15.01.2006, 01:15:59 от SNEg »

Сейчас изучал лог сервера. Пришел Яндекс и в этот момент всё и произошло :)
В остальное время всё вроде в пределах нормы.А в каком виде прописать туда строку для запрета? Вообщем как это должно выглядеть примерно?
Примерно так:
Код
User-agent: *
Disallow: /forum/
Или так:
Код
User-agent: googlebot
Disallow: /forum/
(замниш googlebot на яндекс - я не знаю как его бот прописывается)
ЗАМЕЧАНИЕ: файл должен создаваться ТОЛЬКО в редакторе, который умеет заканчивать строки по *NIX стандарту, иначе, как написано тут можеш даже не пытаться.
Кстати всю информацию я взял оттуда - первая страница при поиске в гугле.
Кстати если компонент разрешен тока для зарегистрированных пользователей, то поисковики его могут индексировать или нет у них прав на это?
Насколько я знаю - нет.
*

SNEg

  • Осваиваюсь на форуме
  • 26
  • 4 / 0
У меня уже прописана строка:  Disallow: /components/  следовательно по идее он не должен лезть в форум,
но это не помогает, всёравно содержимое форума индексируется.

А можно ли запретить это вот такой ссылкой:
http://www.snegok.ru/component/option,com_simpleboard/Itemid,57/
или такое не правильно?

У меня уже прописана строка:  Disallow: /components/  следовательно по идее он не должен лезть в форум,
но это не помогает, всёравно содержимое форума индексируется.

А можно ли запретить это вот такой ссылкой:
http://www.snegok.ru/component/option,com_simpleboard/Itemid,57/
или такое не правильно?

возможно что Disallow: /components/ не помогает так как робот идет по ссылке snegok.ru/component/ без пресловутого S

на всякий случай добавьте такие строки

User-agent: *
Disallow: /forum/
Disallow: /component/
Disallow: /components/

возможно что Disallow: /components/ не помогает так как робот идет по ссылке snegok.ru/component/ без пресловутого S
A откуда вообще появилась идея об component без s? Чтото я нигде не встречал такого пути.
В любом случае индексатор можнет идти к форуму по примому пути, минуя Joomla! - поэтому нужен вот этот вариант добавить:
User-agent: *
Disallow: /forum/

A откуда вообще появилась идея об component без s? Чтото я нигде не встречал такого пути.

http://www.snegok.ru/component/option,com_simpleboard/Itemid,57/

ссылка работает, значит робот может по ней пройти.
*

SNEg

  • Осваиваюсь на форуме
  • 26
  • 4 / 0
Короче выгнали меня с обычного тарифа всё-таки. Переехал на VIP-тариф. Бабло за него  >:( . Вообщем две МамбоДжумлы выходят за рамки обычного хостинга.
*

Adam Bazaroff

  • Захожу иногда
  • 112
  • 10 / 5
Возможно тебя просто "продинамили". Всмысле запугали, заболтали и вынудили переехать на другой тариф, содрав, естественно, энное количество убитых енотов.

Что за хостер кстати?
*

SNEg

  • Осваиваюсь на форуме
  • 26
  • 4 / 0
Да нет. У них автоматическая рассылка о нагрузке. Терпели долго. Но что оптимизировать в Мамбе я не знаю. Вот и решил сменить тариф после окончательных предупреждений. А по качеству они на высоте. Я многих пробовал. БизХост.ру. На Петерхост.ру предупреждений не приходило например, так там и сайты еле работали. :-X

Тоже хостер жалуется на большую загрузку сервера
Из установленного - Joomla 1.0.7, SMF 1.1 RC2, Coppermine 1.4.3 + мост между ними всеми, да и + сторонняя статистика (cnstats).
При отключенном кеше - кол-во запросов на фронтпейдже - 65 запросов - можно чуть снизить убрав названия и ссылки на секции и категории - кол-во выводимых новостей 10.
Посещаемость - 3.000 ун. и до 30.000 хитов
Что еще можно сделать для снижении нагрузки на сервер, помогите советом уважаемое сообщество ...  Иначе чувствую ждет меня судьба вышевысказывавшегося участника .... >:(

...<skip>...
Что еще можно сделать для снижении нагрузки на сервер, помогите советом уважаемое сообщество ...  Иначе чувствую ждет меня судьба вышевысказывавшегося участника .... >:(

Вынудить хостера купить или арендовать приличный сервер, а не машину на процесоре Целерон с 512Мб оперативки и винтом на IDE.

Вообще, что за хостер и что у него за машинки стоят? УРЛ в студию.

У меня тоже была точно такая ситуация.
Это при том, что мой сайт новый и там посетителей - то было крохи - ну мегабайт 400 трафика в месяц. А в один момент Яндекс как налетел и нагрузил мегов 800 за пару дней. Ну и хостинговый сервак нагрузился более чем на 5% - мне тоже пригрозили - пришлось изучать блоги и синтаксис robots.txt 
В общем вот что накопал - дело в том, что поисковики могут ходить по страницам и через SEF и напрямую через index.php а кроме того при передаче разных параметров они могут воспринимать одну и ту-же страницу как разные, например передавая параметр date=.. (у меня стоял компонент extcalendar, который передает параметр последней просмотренной даты при переходе по любой ссылке с него) в результате они ходят по циклу лишь меняя даты в строке параметров.
Кроме того, у меня было так, что при 2-3 реальных посетителях по моему сайту лазило сразу пара сотен пауков от Яндекса - то есть он может запустить одновременно несколько сотен процессов и ... повалить серьезный двухпроцессорник :).
в общем помогли такие строки
Disallow: /extcalendar/
Disallow: /simpleboard/
Disallow: /forum/
Disallow: /content/
Disallow: /index.php?option=com_extcalendar
Disallow: /index.php?option=com_simpleboard
Disallow: /index.php?option=com_content
Disallow: /index.php?optioncom_extcalendar
Disallow: /index.php?optioncom_simpleboard
Disallow: /index.php?date
Ну, то есть по всем возможным вариантам не нужного ползания пауков по сайту нужно пройтись (анализируя лог) чтобы исключить бестолковую зацикленность, что может легко случиться.

 
*

smart

  • Администратор
  • 6485
  • 1317 / 15
  • Хочешь сделать хорошо — сделай!
Disallow: /content/
Disallow: /index.php?option=com_content
хм, так ты отрубаешь даже индексацию контента, что ж ему после этого индексировать-то?

В стандартной joomla такой роботс.тхт:

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /editor/
Disallow: /help/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /mambots/
Disallow: /media/
Disallow: /modules/
Disallow: /templates/
Disallow: /installation/


Интересно, мои страници будут нормально индексированы? А то что-то яндекс, гугл и другие уже пару дней не находят мой сайт. Хотя давно должены были...
в яндексе делал проверку сайта не нашло ничего.

Советы по составлению роботс для джумлы дадите? Кто как составлял этот фалик интересно.
*

raduga

  • Захожу иногда
  • 70
  • 75 / 2
Интересно, мои страници будут нормально индексированы? А то что-то яндекс, гугл и другие уже пару дней не находят мой сайт. Хотя давно должены были...
в яндексе делал проверку сайта не нашло ничего.

Советы по составлению роботс для джумлы дадите? Кто как составлял этот фалик интересно.

Возьми и сам добавь несколько страниц в Яндекс. Тут же на твой сайт отправится бот яндекса. Или в подписи на форуме поставь ссылку на твой сайт, поисковики быстро тебя найдут. В стандартном роботс.тхт стоит запрет на индексирование того, что не надо индексировать, ничего более.

У меня молодой сайт посещаемость около 100 человек в день, материала с гулькин нос на сайте + магазин с небольшим кол. товара. А перенагрузки на сервак шли бешенные, да и яндекс еще индексировал на моем сайте 3000 страниц(сам что ли генерил адреса которых нету :o, причем все страницы которых нет выдавали код 200, т.е что они есть и все ок)

Провайдер тоже писал писма с требование сменить тар. план, причем и тариф сечас не самый дешевый, анализируя пиковые нагрузки и лог фалы добавил в robot.txt три строки
Disallow: /component/option,com_bookmarks/
Disallow: /index.php?option=com_search
Disallow: /index.php?phpshop
 и удалил компонент обмена ссылками bookmarks
теперь все ок.

Disallow: /component/option,com_bookmarks/
Даже в пустой базе он делает больше 40 запросов, у меня с парой тестовых айтемов делал 100+
мораль - если не нужно такой функциональности - юзай JAddress

Немного не по теме но
Цитировать
мораль - если не нужно такой функциональности - юзай JAddress
А если нужна то чего юзать?
Мне ссылками позарез меняться нужно. Думал об linkexchange_3.0.2, а она заточуна под жумлу и на мамбо глючит.
Думаю сейчас ставить bookmarks, обратно и отслеживать запросы, а запретами  в robot.txt попробую ограничить все левые запросы, но естественно что бы при этом ссылки индексировались

А вот у меня свой сервак дома стоит. Слабенький (200 МГц проц+200 ОЗУ). На FreeBSD. Сервер начинает падать при одновременном сидении на нем около 50 пользователей. Для такой конфигурации машинки так и должно быть или это что-то не то?! :) И можно ли оптимизировать работу?! Установлена J! 1.0.8.1 RE + vBulletin 3.5.4 + Datso Gallery 1.32 + файловый архив(почти ничего нет)(Remo****). Ну и моды маленькие типа hexip ???

hi soobshestvu. u menya takayaje prablema.
vsmisle, site inagda ochen zagrujaet mysql. umenya shas stait joomla 1.08. na saite http://www.jeje.ge  unikalnie ip vden okolo 4500 a user online okolo 300 users. pachemu takaya nagruzka na mysql? eta narmalna? i kak mne postupic? xachu zametic sto nagruzka inagda podnimaetsya vadno itoje vremya.

А вот у меня свой сервак дома стоит. Слабенький (200 МГц проц+200 ОЗУ). На FreeBSD. Сервер начинает падать при одновременном сидении на нем около 50 пользователей. Для такой конфигурации машинки так и должно быть или это что-то не то?! :) И можно ли оптимизировать работу?! Установлена J! 1.0.8.1 RE + vBulletin 3.5.4 + Datso Gallery 1.32 + файловый архив(почти ничего нет)(Remo****). Ну и моды маленькие типа hexip ???

ne eta nenarmala. utebya liba server kriva stait, libo joomlu ne tak postavil. umenya vonline inagda do 700 chelavek sidit i servak ne podaet. moi servak namnogo silni, no vsotaki eta prablema ne on s kompiutera.
*

smart

  • Администратор
  • 6485
  • 1317 / 15
  • Хочешь сделать хорошо — сделай!
pachemu takaya nagruzka na mysql? eta narmalna? i kak mne postupic? xachu zametic sto nagruzka inagda podnimaetsya vadno itoje vremya.
во-первых включи кэширование в конфигурации сайта и во всех модулях сайта разреши кэширование информации, это поможет немного снизить нагрузку на базу... а насчет периодичности — посмотри статистику, кто именно нагружает сервер, наверняка бот какого-нибудь поискового сервера
*

dreamwind

  • Захожу иногда
  • 166
  • 27 / 13
Внесу свое слово в данную дискуссию

разворачиваю сайт портальной структуры (юзеров несколько сотен, статей несколько тысяч, фоток несколько тысяч, пару сотен мп3 и прочего), поэтому вопросами оптимизации заинтересовался во вторую голову (в первую -- общей функциональностью :)

Итак, что дал бенчмарк:

Время загрузки главной страницы: 860 мс -- много (из них порядка 700 уходило на запросы к БД)
начал разбираться. Оказалось, выполняется несколько десятков запросов вида

SELECT m.id FROM #__content AS i LEFT JOIN #__sections AS s ON i.sectionid = s.id LEFT JOIN #__menu AS m ON m.componentid = s.id WHERE m.type = 'content_section' AND m.published = 1 AND i.id = 685;

каждый из них отъедал всего 5,7мс, но в сумме выходило прилично...

Смотрим в код: в части модулей (тот же ньюсфлэш) используется стандартная функцию для определения пункта меню, которому соответствует данный материал, вызывается как-то так
$Itemid    = $mainframe->getItemid( $row->id, 0, 0, $bs, $bc, $gbs );
Все бы ничего, но на каждую ссылку на материал на главной странице шло 2 долнительных запроса к БД

Это хачится врубанием определения Itemid для каждой статьи в общем запросе (в том, который выбирает id статьи, рейтинг ее, например, комментарии к ней и прочее)
Например:

$query = "SELECT a.id, a.fulltext, a.title,a.created_by,u.name as author,m.id as Itemid"
."\n FROM #__content AS a"
."\n LEFT JOIN #__users AS u on u.id = a.created_by"
."\n LEFT JOIN #__menu AS m ON m.componentid = a.sectionid"

Эти хаки помогли уменьшить время до 270 мс (с учетом того, что главная при всех отключенных модулях загружалась за 160 мс -- предполагаю, что это время работы системных обращений к БД и самого пхп движка)

Далее, насчет кэширования
При отключенном -- время обработки главной страницы примерно 266 мс
При включенном (во всех возможных модулях и конфигурации) -- 265 мс

Конечно, что-то дает, но я бы начал с оптимизации запросов к БД -- это наиболее узкое место в джумле
Либо я у не умею настраивать кэширование...

З.Ы. 270мс больше 266 только потому, что 270 -- это еще и время коннекта и проч., а 265 -- время чистой обработки страницы
З.Ы.Ы. тесты проводились с помощью ab (apache benchmark), тестовый сервер = П4, 2,8ГГц, 1Гб. В качестве боевого планируется кластер 2(3) Athlon x64 3Ghz, 1Gb
З.Ы.Ы.Ы. хост http://creative.kupisex.nu
*

smart

  • Администратор
  • 6485
  • 1317 / 15
  • Хочешь сделать хорошо — сделай!
Далее, насчет кэширования
При отключенном -- время обработки главной страницы примерно 266 мс
При включенном (во всех возможных модулях и конфигурации) -- 265 мс
давай определимся насчет включенного кэширования: у тебя включен кэш только в глобальных настройках сайта или еще и во всех опубликованных модулях?
*

temniy

  • Захожу иногда
  • 413
  • 84 / 9
он же написал -

При включенном (во всех возможных модулях и конфигурации)
Лучший хостинг от 1 евро!
Сервис whois  |  Домены по отличным ценам (более 80 зон, хорошие цены и консультации -> после регистрации)
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться
 

"Ошибка загрузки файла на сервер"

Автор rasklad

Ответов: 6
Просмотров: 7205
Последний ответ 09.01.2011, 16:55:13
от Aleks_El_Dia
Joomla сильно перегружает сервер? :(

Автор leko

Ответов: 160
Просмотров: 157496
Последний ответ 24.07.2010, 12:31:03
от sonic1978
Установка на Mac на локальный сервер

Автор spaynia

Ответов: 9
Просмотров: 7829
Последний ответ 22.07.2010, 14:51:44
от boq
Нагрузка при большой посещаемости

Автор dmsoh

Ответов: 1
Просмотров: 2109
Последний ответ 08.04.2009, 15:39:59
от Physicist
При установке Joomla на сервер проблема!

Автор stas1965

Ответов: 2
Просмотров: 2815
Последний ответ 21.02.2009, 10:27:12
от stas1965