Тюнинг robots.txt

[archer1981]

Зарегистрировался в Яндекс.Вебмастер, получил уйму полезной инфы о своём сайте. В частности:

component/    
    5882   77,5
content/   
    97   1,2
go.php?   
    179   2,3
index.php?    
    213   2,8

Вот эти разделы робот яндекса индексирует и находит там порядка 6000 "левых" страниц. Естественно, возникло желание более его туды не пущать. Верно ли я сделаю, и сработает ли, если напишу в robots.txt следующее:

Disallow: /component/
Disallow: /content/
Disallow: /go.php?/
Disallow: /ndex.php?/

[temniy]

Disallow: /content/
Disallow: /ndex.php?/

тогда не будет индексироваться контент сайта

component - такой папки в составе Джумлы нет. Есть components, и она закрыта в роботсе.

[smart]

component - такой папки в составе Джумлы нет.

такая виртуальная папка получается в результате работы стандартного SEF

[temniy]

такая виртуальная папка получается в результате работы стандартного SEF

Серьёзно? А я не знал...
Точно посмотрел. Не обращал внимания...

Ну тогда если её закрыть в роботсе, не будет индексироваться содержание компонентов, напр. галереи или гостевой. Это не правильно.

[archer1981]

А я вижу, что в /conponents/ индексируются комментарии как отдельные старницы. Оттуда видимо и 5000 таких страниц. И я не против, чтобы сейчас не индексировалась гостевая книга с форумом. Одно "но". Будет ли индексироваться карта сайта? Видимо её надо отдельно открыть (allow). И вообще, эти лишние 6000 страниц - это нормально? Надо с этим бороться?

[archer1981]

Disallow: /content/
Disallow: /ndex.php?/

тогда не будет индексироваться контент сайта

Контент у меня индексируется через "виртуальные" папки (отдельная категория - отдельная папка), создаваемые OpenSEF. Яндекс.Вебмастер это хорошо показывает.

[temniy]

тогда закрывай

[Verian]

Вообще то в Яндексе том же можно протестировать линки.
Тоесть меняешь робот идёшь туда, перегружаешь robots.txt и подставляя линки смотришь не заклыл ли от индексации свои линки.
Кстати немножко не понял как у тебя линки выгледят ?

[archer1981]

Линки выглядят вот так:

articles/   
    114   1,5
component/    
    5882   77,5
content/   
    97   1,2
go.php?   
    179   2,3
hotels/   
    277   3,6
index.php?    
    213   2,8
mus/   
    106   1,3
taxi/   
    87   1,1
ulpl/   
    109   1,4
zd/

Думаю тут понятно что есть "виртуальное", а что натурное. Что характерно - здесь перечислены не все виртуальные папки. Хотя их содержимое однозначно проиндексировано Яндексом, некоторые страницы в его топе сидят. Видимо количество статей в них не превышает нужного процента. Всё убивает эти 77,5% "левых" страниц.

[archer1981]

В панели вебмастера в яндексе теперь следующая ситуация:
articles/    
    114   6,1
component/    
    394   21,4
go.php?   
    194   10,5
hotels/   
    287   15,5
most/   
    26   1,4
mus/   
    106   5,7
pam/   
    28   1,5
sad/   
    19   1,0
taxi/   
    93   5,0
ulpl/   
    110   5,9
zd/   
    339   18,4

По прежнему робот ходит в component и go.php? несмотря на присутствие в robots.txt:

Disallow: /component/
Disallow: /index.php?

Это "остаточное" явление, или робот на самом деле туда ломится без разрешения?

[Verian]

Берёшь линк коммента. Отсекаешь хвост насколько возможно. И тестишь в Яше - закрыл или нет. Вроде всё просто.
Яша то что закрылось будет показывать как ошибки: "Документ запрещен в файле robots.txt"