Новости Joomla

WT Jshopping SW JProjects 1.1.0

Плагин автоматически генерирует лицензионные ключи на этапе завершения заказа JoomShopping, показывает ключи на странице просмотра деталей заказа.

Slogin v2.10.0

Обновлена система авторизации через социальные сети #Joomla.

Вышел релиз безопасности Joomla 3.9.24

Доступна к загрузке Joomla! 3.9.24. Это релиз безопасности и исправлений, рекомендуется к установке.

1   Вниз
0 Пользователей и 1 Гость просматривают эту тему.
  • 16 Ответов
  • 6528 Просмотров
*

Diablo239

  • Осваиваюсь на форуме
  • 10
  • 0 / 0
Запрет индексации статей из архива для Яндекса
« : 11.10.2006, 17:13:51 »
Есть вообще такая возможность.
А то на хостинге получил несколько предупреждений о нагрузке на базу данных mysql. В это время сайт усиленно сканировал Яндекс и захватывал он те статьи которые уже находились в архиве. Можно ли сделать так, чтобы не удаляя статей вообще запретить яндексу их индексировать?
и еще, это больше вопрос по поисковикам, откуда он их вообще берет? если ссылок на них практически нет, из своего собственного хранилища ссылок? если да, то что в данной ситуации можно сделать?
Записан
*

smart

  • Администратор
  • 6485
  • 1318 / 15
  • Хочешь сделать хорошо — сделай!
Re: Запрет индексации статей из архива для Яндекса
« Ответ #1 : 11.10.2006, 17:20:53 »
можно в robots.txt добавить строчки:

Disallow: /content/archive
Disallow: /index.php?option=com_content&task=archive

Правда это закроет от индексации только сами разделы и категории архива, но не повлияет на сами архивные записи...
Записан
*

Diablo239

  • Осваиваюсь на форуме
  • 10
  • 0 / 0
Re: Запрет индексации статей из архива для Ян
« Ответ #2 : 11.10.2006, 17:31:01 »
Вот в том-то и дело...
а яндекс захватывает статьи именно по прямой ссылке, например
http://мой.сайт/content/view/750/
если закрывать /content в роботе, то так он вообще ни одну статю не проиндексирует, а этого явно не хочется...

p.s. а какова разница при вытаскивании статьи из базы, если она опубликована или находится в архиве? на сколько запросов к базе отличия? просто яндекс уже достал немного - дергает все подряд...
Записан
*

Diablo239

  • Осваиваюсь на форуме
  • 10
  • 0 / 0
Re: Запрет индексации статей из архива для Яндекса
« Ответ #3 : 13.10.2006, 10:41:13 »
Ответье пожалуйста. Что создает большую нагрузку на базу данных:
есть около 1000 статей (все в содержимом) на главной 10 статей выводится и в колонку новостей тоже часть выводится.
Так вот:
1 - хранить всё в своих разделах, не удаляя и не сбрасывая в архив
2 - лучше хранить записи в архиве
3 - лучше удалять старые записи....

в каких случаях меньше запросов к базе данных
А то у меня получается следующая нагрузка, когда сканит яндекс

С               по            %       CPU              Conn   Query   upd     scan  full join temp  slow   

08:20:01    08:35:01   11 %    3.502 min       295    25112    1323    12538    0    435    0   
08:05:01    08:20:01   11 %    3.45517 min    314    26370    1514    13083    0    449    0   
07:50:01    08:05:01   14 %    4.34067 min    387    33270    1729    16656    0    574    0   
Записан
*

Diablo239

  • Осваиваюсь на форуме
  • 10
  • 0 / 0
Re: Запрет индексации статей из архива для Яндекса
« Ответ #4 : 17.10.2006, 10:57:51 »
Вообщем, что у меня есть...

Сейчас стоит на сервер версия 1.0.10 хостер постоянно ругается на большую нагрузку к базе данных. Возникает она тогда, когда на сайт приходит яндекс и дергает статьи.

Попробовал сам пооткрывать статьи в режиме дебаг и получчилось у меня 153 запроса к базе данных на каждую статью....... это очень много, В прикреленном файле приведены все запросы (про сессию только удалил), видно, что очень много запросов повторяется по несколько раз....
Подскажите как уменьшить их количество...................
Сайт - http://zenitzone.ru
Стоят - интеграция с форумом SMF, LXmenu, Display News, опрос, случайное изображение из CPG, случайная игра из компонента joomlaflashgames, последние темы форума SMF через SSI.

Кэш установлен практически на все модули и на сам сайт на сутки.


[вложение удалено Администратором]
Записан
*

smart

  • Администратор
  • 6485
  • 1318 / 15
  • Хочешь сделать хорошо — сделай!
Re: Запрет индексации статей из архива для Яндекса
« Ответ #5 : 17.10.2006, 11:34:29 »
153 запроса, и это при включенном везде кэше? не верю... или кэш отключен или не везде включен...
Записан
*

Diablo239

  • Осваиваюсь на форуме
  • 10
  • 0 / 0
Re: Запрет индексации статей из архива для Яндекса
« Ответ #6 : 17.10.2006, 11:48:53 »
Там начиная с 30 запроса где-то, 6 запросов постоянно повторяются и так до конца, они полностью идентичны........

На самом сайте Кэш в глобальной конфигурации включен еще раз проверил.
По модулям - на все модули которые вручную вбиты кэш включен и т.д.
Не включен только в display news, так как там не нашел где, и кажись нету... то же самое со случайным изображением и случайной игрой... потом еще модуль регистрации пользователей - от SMF интеграции, там тоже негде выставить возможность кэширования, ну и соответственно lxmenu.

Но имхо главное вот это...
Там начиная с 30 запроса где-то, 6 запросов постоянно повторяются и так до конца, они полностью идентичны........
Записан
*

smart

  • Администратор
  • 6485
  • 1318 / 15
  • Хочешь сделать хорошо — сделай!
Re: Запрет индексации статей из архива для Яндекса
« Ответ #7 : 17.10.2006, 12:00:08 »
Записан
*

Diablo239

  • Осваиваюсь на форуме
  • 10
  • 0 / 0
Re: Запрет индексации статей из архива для Ян
« Ответ #8 : 17.10.2006, 12:40:17 »
Цитата: smart от 17.10.2006, 12:00:08
почитай: Как добавить поддержку кэширования в модуль?
Закэшировал всё этим способом!!!
Количество запросов осталось прежним ....................
Глобально галочка на кэше точно стоит..............
ничего не понимаю............

из конфигурационного файла...
$mosConfig_cachepath = '/www/site1/public_html/cache';
$mosConfig_cachetime = '864000';
$mosConfig_caching = '1';
Записан
*

smart

  • Администратор
  • 6485
  • 1318 / 15
  • Хочешь сделать хорошо — сделай!
Re: Запрет индексации статей из архива для Яндекса
« Ответ #9 : 17.10.2006, 12:47:33 »
а в директории кэша файлы появляютяся?
Записан
*

Diablo239

  • Осваиваюсь на форуме
  • 10
  • 0 / 0
Re: Запрет индексации статей из архива для Ян
« Ответ #10 : 17.10.2006, 13:12:33 »
Вообщем почистил все файлы в папке кэша, перезапустил все, файлы начали создаваться заново. Теперь при повторном доступе к странице количество запросов 13-14 =) надеюсь что при временени жизни кэша 10 дней от Яндекса это спасет, так как каждый день на меня налетает он.
А новые странцы вне кэша создают 152-153 запроса к базе это вообще нормально? или придется искать модуль, который чудит с этим ?

хотя по идее раз модули все закэшированы, а количество запросов возрастает только при открытии новой статьи вне кэша, то возможно проблема в хранении статей в базе, вообщем те 6 чередующихся запросов как я понял дергает само ядро джумлы?
« Последнее редактирование: 17.10.2006, 13:19:24 от Diablo239 »
Записан
*

smart

  • Администратор
  • 6485
  • 1318 / 15
  • Хочешь сделать хорошо — сделай!
Re: Запрет индексации статей из архива для Яндекса
« Ответ #11 : 17.10.2006, 13:21:20 »
Цитата: Diablo239 от 17.10.2006, 13:12:33
Вообщем почистил все файлы в папке кэша, перезапустил все, файлы начали создаваться заново. Теперь при повторном доступе к странице количество запросов 13-14
воот, это уже больше похоже на правду...

Цитата: Diablo239 от 17.10.2006, 13:12:33
вообщем те 6 чередующихся запросов как я понял дергает само ядро джумлы?
приведи пример запроса (не все 6, а только один из них)
Записан
*

Diablo239

  • Осваиваюсь на форуме
  • 10
  • 0 / 0
Re: Запрет индексации статей из архива для Яндекса
« Ответ #12 : 17.10.2006, 13:26:47 »
Это самый большой и как я понимаю основной

Код
SELECT ms.id AS sid, ms.type AS stype, mc.id AS cid, mc.type AS ctype, i.id as sectionid, i.id As catid, ms.published AS spub, mc.published AS cpub
 FROM jos_content AS i
 LEFT JOIN jos_sections AS s ON i.sectionid = s.id
 LEFT JOIN jos_menu AS ms ON ms.componentid = s.id 
 LEFT JOIN jos_categories AS c ON i.catid = c.id
 LEFT JOIN jos_menu AS mc ON mc.componentid = c.id 
 WHERE ( ms.type IN ( 'content_section', 'content_blog_section' ) OR mc.type IN ( 'content_blog_category', 'content_category' ) )
 AND i.id = 1304
 ORDER BY ms.type DESC, mc.type DESC, ms.id, mc.id
Всего они повторяются (эти запросы) 20 раз.

И на всякий случай еще один -
Код
SELECT *
 FROM jos_categories
 WHERE id = '19'
Записан
*

smart

  • Администратор
  • 6485
  • 1318 / 15
  • Хочешь сделать хорошо — сделай!
Re: Запрет индексации статей из архива для Яндекса
« Ответ #13 : 17.10.2006, 13:34:44 »
Цитата: Diablo239 от 17.10.2006, 13:26:47
Это самый большой и как я понимаю основной
Всего они повторяются (эти запросы) 20 раз.
это запрос из функции getItemid, которая вызывается для каждой из статей... в принципе, если кэширование включено во всех модулях, и количество запросов до 20, то проблем быть уже не должно, чтоже касается большого количества запросов на новых страницах - так они ведь только один раз такие "тяжелые", во-второй раз уже из кэша берутся... Как вариант, с целю "облегчения" можно например пересмотреть область публикации модулей (т.е. модули со списками статей или новостей публиковать не на всех страницах, а допустим только на главной...)
Записан
*

Diablo239

  • Осваиваюсь на форуме
  • 10
  • 0 / 0
Re: Запрет индексации статей из архива для Ян
« Ответ #14 : 17.10.2006, 13:37:55 »
Спасибо большое!!!

Я понял почему 20, потому что в колонке новостей - display news отображается ровно 20 новостей. Либо - да, отображать только на главной странице, либо может быть использовать другой модуль для колонки новостей или они все будут работать по этому же принципу?

Но в случае если оставлять колонку новостей для отображения в статьях - очень удобно дял пользователей =( то будут проблемы, так как новости ежедневно обновляются и кэш долго не проживет, будет постоянно обновляться, то же произойдет и со старыми статьями... обидно...
« Последнее редактирование: 17.10.2006, 13:42:46 от Diablo239 »
Записан
*

smart

  • Администратор
  • 6485
  • 1318 / 15
  • Хочешь сделать хорошо — сделай!
Re: Запрет индексации статей из архива для Яндекса
« Ответ #15 : 17.10.2006, 14:29:29 »
Цитата: Diablo239 от 17.10.2006, 13:37:55
Я понял почему 20, потому что в колонке новостей - display news отображается ровно 20 новостей.
да, но при включенном кэшировании этого модуля, эти 20 запросов должны выполниться только первый раз, а впоследствии, пока закэшированная версия активна, они уже выполняться не будут... проверь еще раз, включено ли кэширование этого модуля
Записан
*

Diablo239

  • Осваиваюсь на форуме
  • 10
  • 0 / 0
Re: Запрет индексации статей из архива для Яндекса
« Ответ #16 : 17.10.2006, 14:57:40 »
В том то и дел что включено.
Вообще как-то странно работает.
на части незакэшиованных старницах в пределах 14 запросов, на части свыше 150 (по большей части для статичного содержимого), шаманство вообщем.
Буду ждать следующей индексации яндексом, посмотрю, что он мне скажет.
Записан
1   Вверх
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться
 

Не дело это - закрывать от индексации страницы с пагинацией

Автор ChaosHead

 Ответов: 47
Просмотров: 9011 		Последний ответ 07.11.2020, 17:50:27
от stimyl
Проверка ссылок - Ошибки на ссылки Закрыты от индексации

Автор leo78

 Ответов: 8
Просмотров: 1516 		Последний ответ 17.02.2020, 16:32:03
от LyizaMona
Как закрыть от индексации вот такие странички?

Автор roma_sanbl4

 Ответов: 4
Просмотров: 591 		Последний ответ 22.02.2018, 09:37:32
от roma_sanbl4
Заголовки статей без тегов <h1>, <h2>, <h3>! Почему?

Автор hoock

 Ответов: 25
Просмотров: 5847 		Последний ответ 08.02.2018, 23:14:06
от ChaosHead
Папку language в robots.txt запретить или разрешить к индексации?

Автор Kooll5

 Ответов: 1
Просмотров: 502 		Последний ответ 16.01.2018, 12:26:57
от kern.USR