Индексация яндексом - Поисковая оптимизация, продвижение сайтов на Joomla (SEO)

Установлена joomla 1.5 и virtuemart 1.1.2
В корне Joomla лежит robots.txt такого содержания:
------------------
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
------------------
Сайт добавлен в каталог яндекса несколько дней назад. Пока проиндексирована только главная страница. Что с этим делать? Позже появятся остальные (по большей частиинтересуют страницы товаров) или надо что-то поменять?

Хорошо бы зарегистрироваться тут http://webmaster.yandex.ru/wmconsole/, добавить туда свою карту сайта... заодно сможешь контролировать какие страницы проиндексированы, и какие не найдены (ошибки в ссылках)

Карту составлю, попозже, залью. А насчет самого файла robots.txt - там все верно? При таком должны индексироваться товары?

SEF включен? Если нет, то будет индексироватся. Какие адреса у страниц с товарами?

Карту составлю, попозже, залью. А насчет самого файла robots.txt - там все верно? При таком должны индексироваться товары?

ну никаких запрещений на индексацию товаров нет... так что должно...

SEF включен? Если нет, то будет индексироватся. Какие адреса у страниц с товарами?

а у меня и с включеным SEF индексируются...

не торопитесь. Если адреса страниц начинаются с "/components", то паук дальше не пойдёт - в robots.txt это запрещено

не торопитесь. Если адреса страниц начинаются с "/components", то паук дальше не пойдёт - в robots.txt это запрещено

ну да, это если встроенный SEF... у меня Artio...

вообще-то отвечаю топикстартеру.

не торопитесь. Если адреса страниц начинаются с "/components", то паук дальше не пойдёт - в robots.txt это запрещено

Да, вот адрес товара
 http://fe-foto.ru/component/virtuemart/?page=shop.product_details&category_id=20&flypage=flypage.tpl&product_id=602&vmcchk=1
1. Что изменить в robots.txt чтобы они индексировались?
2. Как включить/отключить SEF и что это такое (не бейте сильно, новичок в этом деле). delphine пишет что у него "Artio" - это что? -  в чем отличия от SEF, где брать "Artio" - просветите пожалуйста. Мне понять хотя бы что это такое, а дальше поиск буду юзать. Спасибо.

Вообще-то запрещено в robots "components"? а в адресе у тебя "component". Поэтому, я думаю, в robots у тебя всё нормально. Зарегистрируйся в http://webmaster.yandex.ru/wmconsole/ и задай вопрос яндексу.

Вообще-то запрещено в robots "components"? а в адресе у тебя "component". Поэтому, я думаю, в robots у тебя всё нормально. Зарегистрируйся в http://webmaster.yandex.ru/wmconsole/ и задай вопрос яндексу.

Так и сделал, буду ждать ответа яндекса )

Да, вот адрес товара
 http://fe-foto.ru/component/virtuemart/?page=shop.product_details&category_id=20&flypage=flypage.tpl&product_id=602&vmcchk=1

у тебя в ссылке есть /component/ т.е.  http://fe-foto.ru/component/virtuemart/?page=shop.product_details&category_id=20&flypage=flypage.tpl&product_id=602&vmcchk=1
и есть правило Disallow: /components/ которое блокирует индексацию этого адреса. так что, если хочешь что бы индексировал, убери это: Disallow: /components/

Так и сделал, буду ждать ответа яндекса

не понял, ты кому этот вопрос задал? там есть Инструмент "Анализ robots.txt сайта". С помощью него и можно посмотреть будет ссылка индексироваться или нет.

Из выше изложенного понял, что SEF (удобно читаемые ссылки) не нужна ставить, так как yandex не будет индексировать сайт, а я вродебы читал про это совсем наоборот.
Нужны ли эти проги типо Artio?

Неправильный вывод. Нельзя чтобы часть адреса страницы, которую Вы хотите проиндексировать, была запрещена в robots.txt

Получается так, что если у меня robots настроен вот так:
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
и при включенном Artio сайт yandexом будет индексироваться как и с выключеным? Здесь все по умолчанию.
Ни одна из этих папок не отображается в адресной сроке при включенном Artio.

будет

beagler
Спасибо большое!

Яндекс говорит об ошибке:
HTTP-статус: Доступ к ресурсу запрещён (403)
Ошибок: 2 |URL

Найдено по внешней ссылке
14.06.2009 14.06.2009
/index.php

Что при этом делать?
Я напсал так:
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /editor/
Disallow: /help/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /mambots/
Disallow: /media/
Disallow: /modules/
Disallow: /templates/
Disallow: /installation/
Disallow: /forum/
Allow: /index.php?option=com_xmap&sitemap=1&view=xml&no_html=1
Sitemap: http://my_site/index.php?option=com_xmap&sitemap=1&view=xml&no_html=1
Allow: /index.php
Allow: /index.html

Сработает для ЯНДЕКСА?

ссылку в студию

Sitemap лучше в конце написать.
И смысла в Allow для данного пример robots.txt я не вижу. У тебя и так всё разрешено, кроме того что запрещено.
Тогда зачем это:
не понятно. Вот если бы в конце стояло Disallow: / тогда ясно. А так.
Надо разбираться почему "Доступ к ресурсу запрещён (403)". Это не одно и тоже с "Документ запрещен в файле robots.txt". Это что то на сайте. Сам то можешь по этой ссылке пройти?

Сам то можешь по этой ссылке пройти?

Могу.

предлагаю такой вот робот для Joomla

User-agent: *
Disallow: /index2.php?
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /component/*
Disallow: /component/search/
Disallow: /component/content/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Host: САЙТ.ru  (без http://www)
Sitemap: http://www.САЙТ.ru/index.php?option=com_xmap&sitemap=1&view=xml

У меня есть маленкий сайт на 20 с лишним страничек, так вот робота у него нет, написан на HTML, тоесть статичные страницы без использования cms.
С последним апом вышла таже ошибка (403) Платоны на мои вопросы не отвечают, сейчас жду нового апа, надеюсь что вернется все на место, (сайт двигается).
Походу это глюк яндекса, поскольку остальные поисковики нормально меня индексируют. Пожуем увидим

Подскажите правильно-ли я написал файл robots.txt для яндекса, чтоб он не индексировал такие вот странички с товарами в магазине:
h..p://мой сайт.com/14_swarovski/25_podveski/Page-2-20.php
h..p://мой сайт.com/14_swarovski/25_podveski/Page-4-20.php
тоесть странички начинающиеся с Page?
User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /page/

Disallow: /page

Так.

Disallow: /page*
Исключать все страницы начинающиеся с /page
Так вернее будет. Спасибо!

Здравствуйте. У меня тоже проблемка с индексацией Яндексом. Вот мой роботс.тхт:
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Sitemap: http://my_site/sitemap.xml

Но я немного не понял про SEF:

1. у меня в админке "Общие настройки "  вот так включено
    Установки Search Engine Optimization
         Включить SEO                    Нет
         Использовать mod_rewrite    Да
         Добавить суффикс к URL    Нет

2. включен компонент sh404SEF  (при помощи которого ссылки выгледят так: http://my_site/chrysler/chrysler-pt-cruiser.html)

  Я еще не понял, что нужно делать с Artio?

Ребята, намучался, уже не знаю, что делать!! Может кто поможет! Может ещё что-то нужно настроить в Joomla. В Яндекс не лезит даже главная страница. Контент вроде нормальный, проверял и на Адвего и через сам поисковик, в основном 98-100% есть парочку 96%.
На сайте 13 статей, добавлял в http://webmaster.yandex.ru  примерно 25.02.10, робот сайт обходил последний раз 4.03.10 но ни одной ошибки, ни одной страницы в поиске!
Я конечно новичок, но может кто подскажет!?

siregik

Домен какой?

siregik
Домен какой?

Dusted
http://www.majordomo.ru/   вот такой   CPU 7  или как там считается, точно не знаю. Тарифный план "Первый"
, стоимость 99р.

siregik

Я не про хостинг справшивал, а про домен... Уровень, региональность..

siregik

Я не про хостинг справшивал, а про домен... Уровень, региональность..

Мой домен http://nedoroga.ru/   покупал домен в https://domains.webmoney.ru/ . А уровень региональности, что подразумевается?