0 Пользователей и 1 Гость просматривают эту тему.
  • 10 Ответов
  • 3529 Просмотров
*

archer1981

  • Захожу иногда
  • 268
  • 13 / 0
Тюнинг robots.txt
« : 16.01.2008, 21:39:58 »
Зарегистрировался в Яндекс.Вебмастер, получил уйму полезной инфы о своём сайте. В частности:

component/    
    5882   77,5
content/   
    97   1,2
go.php?   
    179   2,3
index.php?    
    213   2,8

Вот эти разделы робот яндекса индексирует и находит там порядка 6000 "левых" страниц. Естественно, возникло желание более его туды не пущать. Верно ли я сделаю, и сработает ли, если напишу в robots.txt следующее:

Disallow: /component/
Disallow: /content/
Disallow: /go.php?/
Disallow: /ndex.php?/
http://walkspb.ru - Энциклопедия Санкт-Петербурга
*

temniy

  • Захожу иногда
  • 413
  • 84 / 9
Re: Тюнинг robots.txt
« Ответ #1 : 16.01.2008, 23:10:51 »
Disallow: /content/
Disallow: /ndex.php?/

тогда не будет индексироваться контент сайта

component - такой папки в составе Джумлы нет. Есть components, и она закрыта в роботсе.
Лучший хостинг от 1 евро!
Сервис whois  |  Домены по отличным ценам (более 80 зон, хорошие цены и консультации -> после регистрации)
*

smart

  • Администратор
  • 6485
  • 1317 / 15
  • Хочешь сделать хорошо — сделай!
Re: Тюнинг robots.txt
« Ответ #2 : 16.01.2008, 23:15:31 »
component - такой папки в составе Джумлы нет.
такая виртуальная папка получается в результате работы стандартного SEF
*

temniy

  • Захожу иногда
  • 413
  • 84 / 9
Re: Тюнинг robots.txt
« Ответ #3 : 16.01.2008, 23:19:37 »
такая виртуальная папка получается в результате работы стандартного SEF
Серьёзно? А я не знал...
Точно посмотрел. Не обращал внимания...

Ну тогда если её закрыть в роботсе, не будет индексироваться содержание компонентов, напр. галереи или гостевой. Это не правильно.
« Последнее редактирование: 16.01.2008, 23:24:29 от temniy »
Лучший хостинг от 1 евро!
Сервис whois  |  Домены по отличным ценам (более 80 зон, хорошие цены и консультации -> после регистрации)
*

archer1981

  • Захожу иногда
  • 268
  • 13 / 0
Re: Тюнинг robots.txt
« Ответ #4 : 17.01.2008, 07:49:04 »
А я вижу, что в /conponents/ индексируются комментарии как отдельные старницы. Оттуда видимо и 5000 таких страниц. И я не против, чтобы сейчас не индексировалась гостевая книга с форумом. Одно "но". Будет ли индексироваться карта сайта? Видимо её надо отдельно открыть (allow). И вообще, эти лишние 6000 страниц - это нормально? Надо с этим бороться?
http://walkspb.ru - Энциклопедия Санкт-Петербурга
*

archer1981

  • Захожу иногда
  • 268
  • 13 / 0
Re: Тюнинг robots.txt
« Ответ #5 : 17.01.2008, 07:50:47 »
Disallow: /content/
Disallow: /ndex.php?/

тогда не будет индексироваться контент сайта
Контент у меня индексируется через "виртуальные" папки (отдельная категория - отдельная папка), создаваемые OpenSEF. Яндекс.Вебмастер это хорошо показывает.
http://walkspb.ru - Энциклопедия Санкт-Петербурга
*

temniy

  • Захожу иногда
  • 413
  • 84 / 9
Re: Тюнинг robots.txt
« Ответ #6 : 17.01.2008, 12:41:32 »
тогда закрывай
Лучший хостинг от 1 евро!
Сервис whois  |  Домены по отличным ценам (более 80 зон, хорошие цены и консультации -> после регистрации)

Re: Тюнинг robots.txt
« Ответ #7 : 17.01.2008, 13:39:24 »
Вообще то в Яндексе том же можно протестировать линки.
Тоесть меняешь робот идёшь туда, перегружаешь robots.txt и подставляя линки смотришь не заклыл ли от индексации свои линки.
Кстати немножко не понял как у тебя линки выгледят ?
*

archer1981

  • Захожу иногда
  • 268
  • 13 / 0
Re: Тюнинг robots.txt
« Ответ #8 : 17.01.2008, 16:09:17 »
Линки выглядят вот так:

articles/   
    114   1,5
component/    
    5882   77,5
content/   
    97   1,2
go.php?   
    179   2,3
hotels/   
    277   3,6
index.php?    
    213   2,8
mus/   
    106   1,3
taxi/   
    87   1,1
ulpl/   
    109   1,4
zd/

Думаю тут понятно что есть "виртуальное", а что натурное. Что характерно - здесь перечислены не все виртуальные папки. Хотя их содержимое однозначно проиндексировано Яндексом, некоторые страницы в его топе сидят. Видимо количество статей в них не превышает нужного процента. Всё убивает эти 77,5% "левых" страниц.
http://walkspb.ru - Энциклопедия Санкт-Петербурга
*

archer1981

  • Захожу иногда
  • 268
  • 13 / 0
Re: Тюнинг robots.txt
« Ответ #9 : 28.01.2008, 11:55:06 »
В панели вебмастера в яндексе теперь следующая ситуация:
articles/    
    114   6,1
component/    
    394   21,4
go.php?   
    194   10,5
hotels/   
    287   15,5
most/   
    26   1,4
mus/   
    106   5,7
pam/   
    28   1,5
sad/   
    19   1,0
taxi/   
    93   5,0
ulpl/   
    110   5,9
zd/   
    339   18,4

По прежнему робот ходит в component и go.php? несмотря на присутствие в robots.txt:

Disallow: /component/
Disallow: /index.php?

Это "остаточное" явление, или робот на самом деле туда ломится без разрешения?
http://walkspb.ru - Энциклопедия Санкт-Петербурга

Re: Тюнинг robots.txt
« Ответ #10 : 29.01.2008, 15:35:32 »
Берёшь линк коммента. Отсекаешь хвост насколько возможно. И тестишь в Яше - закрыл или нет. Вроде всё просто.
Яша то что закрылось будет показывать как ошибки: "Документ запрещен в файле robots.txt"
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться
 

Как убрать из кода страницы: <meta name="robots" content="index, follow" />

Автор БаракОбама

Ответов: 11
Просмотров: 14612
Последний ответ 16.02.2015, 13:28:58
от andre46
Как спрятать файл robots.txt от посетителей

Автор gals

Ответов: 4
Просмотров: 4162
Последний ответ 19.03.2008, 14:06:02
от gals
Как дать Google robots проиндексировать матералы доступные зарегестрированным?

Автор Roman_G

Ответов: 5
Просмотров: 2306
Последний ответ 08.09.2007, 15:16:21
от yAnTar