0 Пользователей и 1 Гость просматривают эту тему.
  • 16 Ответов
  • 6389 Просмотров
*

Diablo239

  • Новичок
  • 10
  • 0 / 0
Есть вообще такая возможность.
А то на хостинге получил несколько предупреждений о нагрузке на базу данных mysql. В это время сайт усиленно сканировал Яндекс и захватывал он те статьи которые уже находились в архиве. Можно ли сделать так, чтобы не удаляя статей вообще запретить яндексу их индексировать?
и еще, это больше вопрос по поисковикам, откуда он их вообще берет? если ссылок на них практически нет, из своего собственного хранилища ссылок? если да, то что в данной ситуации можно сделать?
*

smart

  • Администратор
  • 6485
  • 1317 / 15
  • Хочешь сделать хорошо — сделай!
можно в robots.txt добавить строчки:

Disallow: /content/archive
Disallow: /index.php?option=com_content&task=archive

Правда это закроет от индексации только сами разделы и категории архива, но не повлияет на сами архивные записи...
*

Diablo239

  • Новичок
  • 10
  • 0 / 0
Вот в том-то и дело...
а яндекс захватывает статьи именно по прямой ссылке, например
http://мой.сайт/content/view/750/
если закрывать /content в роботе, то так он вообще ни одну статю не проиндексирует, а этого явно не хочется...

p.s. а какова разница при вытаскивании статьи из базы, если она опубликована или находится в архиве? на сколько запросов к базе отличия? просто яндекс уже достал немного - дергает все подряд...
*

Diablo239

  • Новичок
  • 10
  • 0 / 0
Ответье пожалуйста. Что создает большую нагрузку на базу данных:
есть около 1000 статей (все в содержимом) на главной 10 статей выводится и в колонку новостей тоже часть выводится.
Так вот:
1 - хранить всё в своих разделах, не удаляя и не сбрасывая в архив
2 - лучше хранить записи в архиве
3 - лучше удалять старые записи....

в каких случаях меньше запросов к базе данных
А то у меня получается следующая нагрузка, когда сканит яндекс

С               по            %       CPU              Conn   Query   upd     scan  full join temp  slow   

08:20:01    08:35:01   11 %    3.502 min       295    25112    1323    12538    0    435    0   
08:05:01    08:20:01   11 %    3.45517 min    314    26370    1514    13083    0    449    0   
07:50:01    08:05:01   14 %    4.34067 min    387    33270    1729    16656    0    574    0   
*

Diablo239

  • Новичок
  • 10
  • 0 / 0
Вообщем, что у меня есть...

Сейчас стоит на сервер версия 1.0.10 хостер постоянно ругается на большую нагрузку к базе данных. Возникает она тогда, когда на сайт приходит яндекс и дергает статьи.

Попробовал сам пооткрывать статьи в режиме дебаг и получчилось у меня 153 запроса к базе данных на каждую статью....... это очень много, В прикреленном файле приведены все запросы (про сессию только удалил), видно, что очень много запросов повторяется по несколько раз....
Подскажите как уменьшить их количество...................
Сайт - http://zenitzone.ru
Стоят - интеграция с форумом SMF, LXmenu, Display News, опрос, случайное изображение из CPG, случайная игра из компонента joomlaflashgames, последние темы форума SMF через SSI.

Кэш установлен практически на все модули и на сам сайт на сутки.


[вложение удалено Администратором]
*

smart

  • Администратор
  • 6485
  • 1317 / 15
  • Хочешь сделать хорошо — сделай!
153 запроса, и это при включенном везде кэше? не верю... или кэш отключен или не везде включен...
*

Diablo239

  • Новичок
  • 10
  • 0 / 0
Там начиная с 30 запроса где-то, 6 запросов постоянно повторяются и так до конца, они полностью идентичны........

На самом сайте Кэш в глобальной конфигурации включен еще раз проверил.
По модулям - на все модули которые вручную вбиты кэш включен и т.д.
Не включен только в display news, так как там не нашел где, и кажись нету... то же самое со случайным изображением и случайной игрой... потом еще модуль регистрации пользователей - от SMF интеграции, там тоже негде выставить возможность кэширования, ну и соответственно lxmenu.

Но имхо главное вот это...
Там начиная с 30 запроса где-то, 6 запросов постоянно повторяются и так до конца, они полностью идентичны........
*

smart

  • Администратор
  • 6485
  • 1317 / 15
  • Хочешь сделать хорошо — сделай!
*

Diablo239

  • Новичок
  • 10
  • 0 / 0
почитай: Как добавить поддержку кэширования в модуль?
Закэшировал всё этим способом!!!
Количество запросов осталось прежним ....................
Глобально галочка на кэше точно стоит..............
ничего не понимаю............

из конфигурационного файла...
$mosConfig_cachepath = '/www/site1/public_html/cache';
$mosConfig_cachetime = '864000';
$mosConfig_caching = '1';
*

smart

  • Администратор
  • 6485
  • 1317 / 15
  • Хочешь сделать хорошо — сделай!
а в директории кэша файлы появляютяся?
*

Diablo239

  • Новичок
  • 10
  • 0 / 0
Вообщем почистил все файлы в папке кэша, перезапустил все, файлы начали создаваться заново. Теперь при повторном доступе к странице количество запросов 13-14 =) надеюсь что при временени жизни кэша 10 дней от Яндекса это спасет, так как каждый день на меня налетает он.
А новые странцы вне кэша создают 152-153 запроса к базе это вообще нормально? или придется искать модуль, который чудит с этим ?

хотя по идее раз модули все закэшированы, а количество запросов возрастает только при открытии новой статьи вне кэша, то возможно проблема в хранении статей в базе, вообщем те 6 чередующихся запросов как я понял дергает само ядро джумлы?
« Последнее редактирование: 17.10.2006, 13:19:24 от Diablo239 »
*

smart

  • Администратор
  • 6485
  • 1317 / 15
  • Хочешь сделать хорошо — сделай!
Вообщем почистил все файлы в папке кэша, перезапустил все, файлы начали создаваться заново. Теперь при повторном доступе к странице количество запросов 13-14
воот, это уже больше похоже на правду...

вообщем те 6 чередующихся запросов как я понял дергает само ядро джумлы?
приведи пример запроса (не все 6, а только один из них)
*

Diablo239

  • Новичок
  • 10
  • 0 / 0
Это самый большой и как я понимаю основной

Код
SELECT ms.id AS sid, ms.type AS stype, mc.id AS cid, mc.type AS ctype, i.id as sectionid, i.id As catid, ms.published AS spub, mc.published AS cpub
 FROM jos_content AS i
 LEFT JOIN jos_sections AS s ON i.sectionid = s.id
 LEFT JOIN jos_menu AS ms ON ms.componentid = s.id
 LEFT JOIN jos_categories AS c ON i.catid = c.id
 LEFT JOIN jos_menu AS mc ON mc.componentid = c.id
 WHERE ( ms.type IN ( 'content_section', 'content_blog_section' ) OR mc.type IN ( 'content_blog_category', 'content_category' ) )
 AND i.id = 1304
 ORDER BY ms.type DESC, mc.type DESC, ms.id, mc.id
Всего они повторяются (эти запросы) 20 раз.

И на всякий случай еще один -
Код
SELECT *
 FROM jos_categories
 WHERE id = '19'
*

smart

  • Администратор
  • 6485
  • 1317 / 15
  • Хочешь сделать хорошо — сделай!
Это самый большой и как я понимаю основной
Всего они повторяются (эти запросы) 20 раз.
это запрос из функции getItemid, которая вызывается для каждой из статей... в принципе, если кэширование включено во всех модулях, и количество запросов до 20, то проблем быть уже не должно, чтоже касается большого количества запросов на новых страницах - так они ведь только один раз такие "тяжелые", во-второй раз уже из кэша берутся... Как вариант, с целю "облегчения" можно например пересмотреть область публикации модулей (т.е. модули со списками статей или новостей публиковать не на всех страницах, а допустим только на главной...)
*

Diablo239

  • Новичок
  • 10
  • 0 / 0
Спасибо большое!!!

Я понял почему 20, потому что в колонке новостей - display news отображается ровно 20 новостей. Либо - да, отображать только на главной странице, либо может быть использовать другой модуль для колонки новостей или они все будут работать по этому же принципу?

Но в случае если оставлять колонку новостей для отображения в статьях - очень удобно дял пользователей =( то будут проблемы, так как новости ежедневно обновляются и кэш долго не проживет, будет постоянно обновляться, то же произойдет и со старыми статьями... обидно...
« Последнее редактирование: 17.10.2006, 13:42:46 от Diablo239 »
*

smart

  • Администратор
  • 6485
  • 1317 / 15
  • Хочешь сделать хорошо — сделай!
Я понял почему 20, потому что в колонке новостей - display news отображается ровно 20 новостей.
да, но при включенном кэшировании этого модуля, эти 20 запросов должны выполниться только первый раз, а впоследствии, пока закэшированная версия активна, они уже выполняться не будут... проверь еще раз, включено ли кэширование этого модуля
*

Diablo239

  • Новичок
  • 10
  • 0 / 0
В том то и дел что включено.
Вообще как-то странно работает.
на части незакэшиованных старницах в пределах 14 запросов, на части свыше 150 (по большей части для статичного содержимого), шаманство вообщем.
Буду ждать следующей индексации яндексом, посмотрю, что он мне скажет.
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться
 

Как закрыть от индексации вот такие странички?

Автор roma_sanbl4

Ответов: 4
Просмотров: 454
Последний ответ 22.02.2018, 09:37:32
от roma_sanbl4
Заголовки статей без тегов <h1>, <h2>, <h3>! Почему?

Автор hoock

Ответов: 25
Просмотров: 5599
Последний ответ 08.02.2018, 23:14:06
от ChaosHead
Папку language в robots.txt запретить или разрешить к индексации?

Автор Kooll5

Ответов: 1
Просмотров: 363
Последний ответ 16.01.2018, 12:26:57
от kern.USR
Проверка ссылок - Ошибки на ссылки Закрыты от индексации

Автор leo78

Ответов: 7
Просмотров: 638
Последний ответ 21.11.2017, 23:02:01
от voland
/index.php?option=com.... как закрыть от индексации подобные страницы?

Автор roma_sanbl4

Ответов: 2
Просмотров: 452
Последний ответ 20.09.2017, 10:33:53
от roma_sanbl4