0 Пользователей и 1 Гость просматривают эту тему.
  • 5 Ответов
  • 9015 Просмотров
*

Mateza

  • Новичок
  • 6
  • 0 / 0
В руководстве для вебмастеров Google есть замечательная рекомендация:

Разрешите поисковым роботам сканировать ваши сайты без идентификаторов сеансов и без аргументов, которые позволяют отслеживать пути их передвижения по сайту. Эти инструменты полезны для отслеживания поведения конкретного пользователя на сайте, но роботы читают сайты совершенно иначе. Эти инструменты могут привести к неполной индексации сайта, поскольку роботам не всегда удается исключить URL-адреса, которые выглядят по-разному, но при этом ведут на одну и ту же страницу.

Вот только не показано как именно это сделать для Google в файле Robots.txt

Для Яндекса например это делается посредством директивы 'Clean-param'. Для Google  ничего подобного не нашел.

Если у кого есть опыт, поделитесь.
*

Derrr

  • Захожу иногда
  • 54
  • 0 / 0
Re: Настройка файла Robots.txt для Google
« Ответ #1 : 13.03.2009, 03:08:02 »
Интересная тема...
Хоть какие соображения есть у кого?
И вообще реально ли имеет смысл заморачиваться по этому поводу?
*

delphine

  • Захожу иногда
  • 189
  • 30 / 0
Re: Настройка файла Robots.txt для Google
« Ответ #2 : 13.03.2009, 13:25:39 »
Ну у меня все просто. Стоит ArtioSEF, и поэтому все страницы заканчиваются на php.
В Vertuemart естественно к адресу добавляется идентификатор сессии, что то типа ?veruemart=
И страницы "my-site.ru/magazin.php" и "my-site.ru/magazin.php?veruemart=47235827346" имеют идентичность.
В robot.txt пишу Disallow: /*veruemart=
И страница "my-site.ru/magazin.php?veruemart=47235827346" не индексируется... Страница "my-site.ru/magazin.php" нормально индексируется...
Но это поможет если ни одна страница с этим идентификатором не нужна...
Не дружу с дизайном.
Приветствуются обмен ссылками или
Z879646195991 | R637245146155 | E222695044531 | U162157337447 | Y381916949633 | B493612164919 | Я.Деньги 41001254998875
*

Mateza

  • Новичок
  • 6
  • 0 / 0
Re: Настройка файла Robots.txt для Google
« Ответ #3 : 13.03.2009, 13:31:10 »
Отлично. Буду пробовать.
Тогда этаже проблема с другой стороны.
По поводу индексации PDF версий и версий для печати:
Можно ли их закрыть таким образом?

Disallow: /*print
Disallow: /*format=pdf

*

delphine

  • Захожу иногда
  • 189
  • 30 / 0
Re: Настройка файла Robots.txt для Google
« Ответ #4 : 13.03.2009, 13:42:30 »
если тебе вообще не нужна ни одна страница "my-site.ru/magazin.php?chto-to-tam" то проще сделать
Allow: /$
Allow: /*.php$
Allow: /*.jpg$
Allow: /*.gif$
Disallow: /

Т.е. Разрешает индекс всех страниц которые заканчиваются на "/", php, jpg, gif, и запрещает индекс всех остальных т.е. "my-site.ru/magazin.php?print" и "my-site.ru/magazin.php?format=pdf" в том числе. Если нужен индекс ещё каких то расширений, просто дать разрешение...
Ну или добавить
Disallow: /*print
Disallow: /*format=pdf

Просто у меня очень разные идентификаторы, и все прописывать не охото, проще разрешить те которые нужно...  ;D
Не дружу с дизайном.
Приветствуются обмен ссылками или
Z879646195991 | R637245146155 | E222695044531 | U162157337447 | Y381916949633 | B493612164919 | Я.Деньги 41001254998875
*

llektor

  • Захожу иногда
  • 214
  • 2 / 2
Re: Настройка файла Robots.txt для Google
« Ответ #5 : 21.12.2010, 07:39:08 »
Ну у меня все просто. Стоит ArtioSEF
Подскажите пожалуйста,у меня проблемы,попытаюсь сформулировать вопрос понятно
Вот когда в Google набираешь название статьи которая у меня на сайте,то вы ходит заголовк статьи а под ней в место краткого содержания статьи выходит описание дескриптион сайта,или наоборот выходит заголовок мета тег сайта а под ним описание статьи
Вот скриншот на нем видно все что я хочу поинтересоватся
http://i048.radikal.ru/1012/4b/9443ea2823d0.png

Я как понимаю на самом деле должно выходить заголовк статьи под ним краткое содержание самой статьи,то есть описание
Какайта неразбериха,как вы думайте можно это исправить или я наверно какийта важные настройки движка запарол,вроде не че не трогал

P.S И есчо,у меня ссылки заканчиваются не php а HTML может из за этого
К стати в Яндексе все нормально отоброжаеться,загловок статьи а под ним описание
« Последнее редактирование: 21.12.2010, 07:42:58 от llektor »
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться
 

Языки /en/ /ru/ проблема с входом в админку и редиректит на site.r/ru/robots.txt

Автор HolySong

Ответов: 0
Просмотров: 110
Последний ответ 10.07.2020, 13:12:46
от HolySong
Google отображает не все URL

Автор Игарь

Ответов: 1
Просмотров: 548
Последний ответ 08.06.2020, 10:38:38
от kostikcom
meta-description не отображается в Google

Автор Игарь

Ответов: 3
Просмотров: 191
Последний ответ 08.06.2020, 10:28:49
от kostikcom
Google Search Console, sitemap.xml и robots.txt

Автор Игарь

Ответов: 7
Просмотров: 271
Последний ответ 20.05.2020, 23:36:20
от Kostelano
Настройка SEO как у аналога Wordpress

Автор Snip

Ответов: 19
Просмотров: 1717
Последний ответ 11.02.2020, 13:56:47
от voland