0 Пользователей и 1 Гость просматривают эту тему.
  • 16 Ответов
  • 8422 Просмотров
*

ABCroNews

  • Давно я тут
  • 268
  • 6
  • Строим новый дом из старых кубиков)
Sitemap: в robots.txt
« : 27.03.2011, 04:25:34 »
Проблема состоит в том, что когда мы добавляем в robots.txt  - Disallow: /index.php?* то с тем самым мы запрещаем индексировать не только все динамические страницы но и карту сайта, которая имеет вид http://site.ru/index.php?option=com_xmap&sitemap=1&view=xml

Народ пожалуйста подскажите как решить эту проблему, а то уже целый месяц если не два ломаю себе голову  :(
*

ABCroNews

  • Давно я тут
  • 268
  • 6
  • Строим новый дом из старых кубиков)
Re: Sitemap: в robots.txt
« Ответ #1 : 27.03.2011, 15:43:57 »
Или другими словами, как можно изменить адрес вида http://site.ru/index.php?option=com_xmap&sitemap=1&view=xml на http://site.ru/sitemap.xml? Главное это изменить динамический вид ссылки
*

Efanych

  • Группа развития
  • 4317
  • 605
Re: Sitemap: в robots.txt
« Ответ #2 : 27.03.2011, 15:50:55 »
Создай пункт меню на карту сайта.
Создание сайтов, шаблонов, помощь в решении проблем.
*

ABCroNews

  • Давно я тут
  • 268
  • 6
  • Строим новый дом из старых кубиков)
Re: Sitemap: в robots.txt
« Ответ #3 : 27.03.2011, 15:54:36 »
Создай пункт меню на карту сайта.
Дак это же не обычная ссылка, это ссылка с расширением .xml которая предназначена для ПС, а не для того что бы быть пунктом меню на сайте
*

Efanych

  • Группа развития
  • 4317
  • 605
Re: Sitemap: в robots.txt
« Ответ #4 : 27.03.2011, 17:18:38 »
А ты пробовал?
У меня получилось так
Цитировать
http://site.ru/component/xmap/?sitemap=1&view=xml&no_html=1
Уже не запрещено
Создание сайтов, шаблонов, помощь в решении проблем.
*

ABCroNews

  • Давно я тут
  • 268
  • 6
  • Строим новый дом из старых кубиков)
Re: Sitemap: в robots.txt
« Ответ #5 : 27.03.2011, 17:39:18 »
http://site.ru/component/xmap/?sitemap=1&view=xml&no_html=1
Карта должна быть формата .xml а еще у меня "/component/" тоже запрещен., есть еще какие-нибудь предложения?
*

loony

  • Осваиваюсь на форуме
  • 67
  • 1
Re: Sitemap: в robots.txt
« Ответ #6 : 28.03.2011, 12:31:13 »
Тоже об этом думаю. А Allow точно не работает?
Ещё вариант тупо "сохранить страницу как" и в корень выложить. Но это уже не то..

Ещё раз перепроверила, в Google Allow работает!
« Последнее редактирование: 28.03.2011, 13:58:11 от loony »
*

ABCroNews

  • Давно я тут
  • 268
  • 6
  • Строим новый дом из старых кубиков)
Re: Sitemap: в robots.txt
« Ответ #7 : 28.03.2011, 16:47:54 »
Ещё раз перепроверила, в Google Allow работает!
а в Яндексе?
*

skai

  • Живу я здесь
  • 1230
  • 152
  • skaiseo
Re: Sitemap: в robots.txt
« Ответ #8 : 28.03.2011, 20:00:17 »
в роботс добавьте ссылку на карту в xml
Sitemap: http://мойсайт.ru/index.php?option=com_xmap&sitemap=1&view=xml

с какйо целью запретили /index.php?* В этом нет никакой необходимости.
Дайте на сайт посмотреть.

Наполнение вашего сайта - 1т.р. стр. (текст, изображения, мета, перелинковка). Гарантия высокого ранжирования. SEO консультация в подарок.
----------------------------------------------------------------------------------------------
*

Gramoj

  • Осваиваюсь на форуме
  • 56
  • 1
Re: Sitemap: в robots.txt
« Ответ #9 : 28.03.2011, 20:22:49 »
Или другими словами, как можно изменить адрес вида http://site.ru/index.php?option=com_xmap&sitemap=1&view=xml на http://site.ru/sitemap.xml? Главное это изменить динамический вид ссылки
Изменить адрес карты сайта можно добавленим в .htaccess сразу за директивой «RewriteEngine On» следущее:
Код
### Little Hack for XMAP
RewriteCond %{REQUEST_URI} ^/sitemap.xml
RewriteRule .* /index.php?option=com_xmap&view=xml&no_html=1
Карта сайта становится доступной по адресу /sitemap.xml, но скормить ее Google не удается - он пишет, что карты нет по этому пути.
==========
Карта должна быть формата .xml а еще у меня "/component/" тоже запрещен., есть еще какие-нибудь предложения?
Действительно карта нужна .xml. Но и html=1 тоже для SEO оптимизации, на сайте будет полезна. Специально для нее я в robots.txt занес в исключение ее путь. Правда я не знаю какой именно путь прописывать, прописал следующее:
Код
Allow: /component/option,com_xmap/lang,ru/sitemap,1/
Allow: /index.php?option=com_xmap&sitemap=1
Allow: /index.php?option=com_xmap&sitemap=1
===========
Ещё раз перепроверила, в Google Allow работает!
а в Яндексе?
Сам Яндекс пишет, что и для него тоже эта дериктива работает: http://help.yandex.ru/webmaster/?id=996567#996571
« Последнее редактирование: 28.03.2011, 21:44:21 от Gramoj »
*

Gramoj

  • Осваиваюсь на форуме
  • 56
  • 1
Re: Sitemap: в robots.txt
« Ответ #10 : 28.03.2011, 20:46:56 »
с какой целью запретили /index.php?* В этом нет никакой необходимости.
Я запретил для того, чтобы в индексацию не попадали например печатные версии страниц (хотя после установки с shSEF404 они у меня называются */pechat) и дубли страниц. Хотя может я не прав, и действительно не стоит запрещать /index.php?, я ведь всего месяц как познакомился с сайтоделанием.

OFFTOP: Из серии "Это интересно": http://www.google.com/robots.txt
« Последнее редактирование: 28.03.2011, 20:52:03 от Gramoj »
*

ABCroNews

  • Давно я тут
  • 268
  • 6
  • Строим новый дом из старых кубиков)
Re: Sitemap: в robots.txt
« Ответ #11 : 29.03.2011, 01:01:27 »
с какйо целью запретили /index.php?* В этом нет никакой необходимости.
с целью запретить индексацию динамических страниц, а в частности избежать дублирования страниц

P.S Конечно бы хотелось что бы карта сайта имела вид http://site.ru/sitemap.xml и это бы был самый лучший вариант, но пока что до этого не допер

Поэтому решил пойти самой логичной дорогой, то есть -->
Disallow: /index.php?*
Allow: /index.php?option=com_xmap&sitemap=1&view=xml
Sitemap: http://site.ru/index.php?option=com_xmap&sitemap=1&view=xml

Но не понятно, работает ли такой вариант для Яндекса?! Кто проверял просьба отписаться здесь., ну а для Google все работает и это мы уже установили  
« Последнее редактирование: 29.03.2011, 01:08:39 от ABCroNews »
*

ABCroNews

  • Давно я тут
  • 268
  • 6
  • Строим новый дом из старых кубиков)
Re: Sitemap: в robots.txt
« Ответ #12 : 01.04.2011, 15:08:46 »
Народ ну что, работает ли это для Яндекса?
Disallow: /index.php?*
Allow: /index.php?option=com_xmap&sitemap=1&view=xml
Sitemap: http://site.ru/index.php?option=com_xmap&sitemap=1&view=xml
*

Sanchesko

  • Осваиваюсь на форуме
  • 107
  • 13
Re: Sitemap: в robots.txt
« Ответ #13 : 05.05.2011, 21:10:40 »
Проблема состоит в том, что когда мы добавляем в robots.txt  - Disallow: /index.php?* то с тем самым мы запрещаем индексировать не только все динамические страницы но и карту сайта, которая имеет вид http://site.ru/index.php?option=com_xmap&sitemap=1&view=xml

Народ пожалуйста подскажите как решить эту проблему, а то уже целый месяц если не два ломаю себе голову  :(
Может я что то не понимаю , вы хотите что бы карта сайта в виде XML попала в индекс? Вам Яндекс в панели веб мастера что пишет что нет карты сайта? из за запрещающей директивы? Я конечно недавно с сайтами занимаюсь , но мне кажеться что директива SItemap тупо указывает ботам где именно карта сайта и наверняка является разрешающей прочесть данный документ всем ботам которые кушают этот формат файла мапы, а значит бояться по сути нечего, если уж Яндекс не видит карты сайта в XML для начала надо проверить правильно ли указан хост( без этого он не может) тоесть хост и директива файла sitemap должны быть идентичными..с www или без...
А так я повторюсь директива sitemap являеться указывающей а значит разрешающей читать ваши урлы в ней.
Русский способ настройки это нажатие всех кнопок устройства одновременно . Помогает реально ... успокоиться.
*

wartek

  • Осваиваюсь на форуме
  • 25
  • 1
Re: Sitemap: в robots.txt
« Ответ #14 : 10.09.2011, 13:33:50 »
Проблема состоит в том, что когда мы добавляем в robots.txt  - Disallow: /index.php?* то с тем самым мы запрещаем индексировать не только все динамические страницы но и карту сайта, которая имеет вид http://site.ru/index.php?option=com_xmap&sitemap=1&view=xml

Народ пожалуйста подскажите как решить эту проблему, а то уже целый месяц если не два ломаю себе голову  :(

Очень интересует как Вы решили проблему, а именно нужно изменить ссылку вида /index.php/sitemapxml.html на /sitemap.xml? Если кто знает напишите!
Пример приведённый выше:
### Little Hack for XMAP
RewriteCond %{REQUEST_URI} ^/sitemap.xml
RewriteRule .* /index.php?option=com_xmap&view=xml&no_html=1

У меня не работает!
Ошибок не делают только мёртвые!
Обмен WebMoney, покупка WebMoney, продажа WebMoney!
*

Лена)

  • Завсегдатай
  • 403
  • 28
Re: Sitemap: в robots.txt
« Ответ #15 : 29.09.2011, 06:15:17 »
Директива Allow для Яндекса тоже работает. В своем роботс.тхт через эту директиву открывала доступ на папки с изображениями. Всё проиндексировалось через месяц.

Только Allow я ставлю перед Disallow. Может и нет разницы, хз
*

x-masters

  • Осваиваюсь на форуме
  • 76
  • 0
Re: Sitemap: в robots.txt
« Ответ #16 : 09.06.2015, 14:09:25 »
Директива Allow для Яндекса тоже работает. В своем robots.txt через эту директиву открывала доступ на папки с изображениями. Всё проиндексировалось через месяц.

Только Allow я ставлю перед Disallow. Может и нет разницы, хз
Хоть кто-то дело написал. Все Allow должны быть ДО Disallow.
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться
 

Яндекс вебмастер не видит sitemap

Автор strela.mari

Ответов: 8
Просмотров: 808
Последний ответ 24.07.2017, 13:23:04
от dmitry_stas
А нужен ли sitemap?

Автор SeBun

Ответов: 16
Просмотров: 424
Последний ответ 01.06.2017, 20:29:22
от SeBun
Aimy Sitemap проблема с картой

Автор Whitelamb

Ответов: 4
Просмотров: 523
Последний ответ 24.03.2017, 00:58:18
от Whitelamb
Aimy Sitemap - Паук собирающий карту

Автор yrygvay

Ответов: 12
Просмотров: 2420
Последний ответ 02.12.2016, 19:52:04
от zikkuratvk
редактор sitemap

Автор new4acc

Ответов: 2
Просмотров: 477
Последний ответ 16.09.2016, 09:52:17
от new4acc