Запрет индексации статей из архива для Яндекса - Поисковая оптимизация, продвижение сайтов на Joomla (SEO)

Есть вообще такая возможность.
А то на хостинге получил несколько предупреждений о нагрузке на базу данных mysql. В это время сайт усиленно сканировал Яндекс и захватывал он те статьи которые уже находились в архиве. Можно ли сделать так, чтобы не удаляя статей вообще запретить яндексу их индексировать?
и еще, это больше вопрос по поисковикам, откуда он их вообще берет? если ссылок на них практически нет, из своего собственного хранилища ссылок? если да, то что в данной ситуации можно сделать?

можно в robots.txt добавить строчки:

Disallow: /content/archive
Disallow: /index.php?option=com_content&task=archive

Правда это закроет от индексации только сами разделы и категории архива, но не повлияет на сами архивные записи...

Вот в том-то и дело...
а яндекс захватывает статьи именно по прямой ссылке, например
http://мой.сайт/content/view/750/
если закрывать /content в роботе, то так он вообще ни одну статю не проиндексирует, а этого явно не хочется...

p.s. а какова разница при вытаскивании статьи из базы, если она опубликована или находится в архиве? на сколько запросов к базе отличия? просто яндекс уже достал немного - дергает все подряд...

Ответье пожалуйста. Что создает большую нагрузку на базу данных:
есть около 1000 статей (все в содержимом) на главной 10 статей выводится и в колонку новостей тоже часть выводится.
Так вот:
1 - хранить всё в своих разделах, не удаляя и не сбрасывая в архив
2 - лучше хранить записи в архиве
3 - лучше удалять старые записи....

в каких случаях меньше запросов к базе данных
А то у меня получается следующая нагрузка, когда сканит яндекс

С               по            %       CPU              Conn   Query   upd     scan  full join temp  slow   

08:20:01    08:35:01   11 %    3.502 min       295    25112    1323    12538    0    435    0   
08:05:01    08:20:01   11 %    3.45517 min    314    26370    1514    13083    0    449    0   
07:50:01    08:05:01   14 %    4.34067 min    387    33270    1729    16656    0    574    0   

Вообщем, что у меня есть...

Сейчас стоит на сервер версия 1.0.10 хостер постоянно ругается на большую нагрузку к базе данных. Возникает она тогда, когда на сайт приходит яндекс и дергает статьи.

Попробовал сам пооткрывать статьи в режиме дебаг и получчилось у меня 153 запроса к базе данных на каждую статью....... это очень много, В прикреленном файле приведены все запросы (про сессию только удалил), видно, что очень много запросов повторяется по несколько раз....
Подскажите как уменьшить их количество...................
Сайт - http://zenitzone.ru
Стоят - интеграция с форумом SMF, LXmenu, Display News, опрос, случайное изображение из CPG, случайная игра из компонента joomlaflashgames, последние темы форума SMF через SSI.

Кэш установлен практически на все модули и на сам сайт на сутки.


[вложение удалено Администратором]

153 запроса, и это при включенном везде кэше? не верю... или кэш отключен или не везде включен...

Там начиная с 30 запроса где-то, 6 запросов постоянно повторяются и так до конца, они полностью идентичны........

На самом сайте Кэш в глобальной конфигурации включен еще раз проверил.
По модулям - на все модули которые вручную вбиты кэш включен и т.д.
Не включен только в display news, так как там не нашел где, и кажись нету... то же самое со случайным изображением и случайной игрой... потом еще модуль регистрации пользователей - от SMF интеграции, там тоже негде выставить возможность кэширования, ну и соответственно lxmenu.

Но имхо главное вот это...
Там начиная с 30 запроса где-то, 6 запросов постоянно повторяются и так до конца, они полностью идентичны........

почитай: Как добавить поддержку кэширования в модуль?

почитай: Как добавить поддержку кэширования в модуль?

Закэшировал всё этим способом!!!
Количество запросов осталось прежним ....................
Глобально галочка на кэше точно стоит..............
ничего не понимаю............

из конфигурационного файла...
$mosConfig_cachepath = '/www/site1/public_html/cache';
$mosConfig_cachetime = '864000';
$mosConfig_caching = '1';

а в директории кэша файлы появляютяся?

Вообщем почистил все файлы в папке кэша, перезапустил все, файлы начали создаваться заново. Теперь при повторном доступе к странице количество запросов 13-14 =) надеюсь что при временени жизни кэша 10 дней от Яндекса это спасет, так как каждый день на меня налетает он.
А новые странцы вне кэша создают 152-153 запроса к базе это вообще нормально? или придется искать модуль, который чудит с этим ?

хотя по идее раз модули все закэшированы, а количество запросов возрастает только при открытии новой статьи вне кэша, то возможно проблема в хранении статей в базе, вообщем те 6 чередующихся запросов как я понял дергает само ядро джумлы?

Вообщем почистил все файлы в папке кэша, перезапустил все, файлы начали создаваться заново. Теперь при повторном доступе к странице количество запросов 13-14

воот, это уже больше похоже на правду...

вообщем те 6 чередующихся запросов как я понял дергает само ядро джумлы?

приведи пример запроса (не все 6, а только один из них)

Это самый большой и как я понимаю основной

Всего они повторяются (эти запросы) 20 раз.

И на всякий случай еще один -

Это самый большой и как я понимаю основной
Всего они повторяются (эти запросы) 20 раз.

это запрос из функции getItemid, которая вызывается для каждой из статей... в принципе, если кэширование включено во всех модулях, и количество запросов до 20, то проблем быть уже не должно, чтоже касается большого количества запросов на новых страницах - так они ведь только один раз такие "тяжелые", во-второй раз уже из кэша берутся... Как вариант, с целю "облегчения" можно например пересмотреть область публикации модулей (т.е. модули со списками статей или новостей публиковать не на всех страницах, а допустим только на главной...)

Спасибо большое!!!

Я понял почему 20, потому что в колонке новостей - display news отображается ровно 20 новостей. Либо - да, отображать только на главной странице, либо может быть использовать другой модуль для колонки новостей или они все будут работать по этому же принципу?

Но в случае если оставлять колонку новостей для отображения в статьях - очень удобно дял пользователей =( то будут проблемы, так как новости ежедневно обновляются и кэш долго не проживет, будет постоянно обновляться, то же произойдет и со старыми статьями... обидно...

Я понял почему 20, потому что в колонке новостей - display news отображается ровно 20 новостей.

да, но при включенном кэшировании этого модуля, эти 20 запросов должны выполниться только первый раз, а впоследствии, пока закэшированная версия активна, они уже выполняться не будут... проверь еще раз, включено ли кэширование этого модуля

В том то и дел что включено.
Вообще как-то странно работает.
на части незакэшиованных старницах в пределах 14 запросов, на части свыше 150 (по большей части для статичного содержимого), шаманство вообщем.
Буду ждать следующей индексации яндексом, посмотрю, что он мне скажет.