0 Пользователей и 1 Гость просматривают эту тему.
  • 445 Ответов
  • 192175 Просмотров
*

Elektra

  • Захожу иногда
  • 69
  • 0 / 0
Здравствуйте!
Google мастер выдает сообщение Доступ к URL заблокирован в файле robots.txt. Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.
вот мой robots.txt ЧТО В НЕМ не ТАК?
Спойлер
[свернуть]
*

Go-destroy

  • Захожу иногда
  • 221
  • 4 / 1
Здравствуйте!
Google мастер выдает сообщение Доступ к URL заблокирован в файле robots.txt. Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.
вот мой robots.txt ЧТО В НЕМ не ТАК?

Спойлер
[свернуть]
« Последнее редактирование: 30.05.2013, 06:10:05 от Go-destroy »
*

Go-destroy

  • Захожу иногда
  • 221
  • 4 / 1



Цитировать
Disallow: /*print=*  
Disallow: /go.php
Disallow: /component/search/?
Disallow: /components/search/?

лишнее.
*

Elektra

  • Захожу иногда
  • 69
  • 0 / 0
почему?
А если прописать в  файле .htaccess корневого каталога. После строки RewriteEngine On добавляем:

 RewriteCond %{REQUEST_URI} ^/sitemap.xml

 RewriteRule .* /index.php?option=com_xmap&sitemap=1&view=xml

*

Go-destroy

  • Захожу иногда
  • 221
  • 4 / 1
почему?
А если прописать в  файле .htaccess корневого каталога. После строки RewriteEngine On добавляем:

 RewriteCond %{REQUEST_URI} ^/sitemap.xml

 RewriteRule .* /index.php?option=com_xmap&sitemap=1&view=xml


почему что? и какая версия Joomla?
*

Elektra

  • Захожу иногда
  • 69
  • 0 / 0
Версия 1.5
Почему эти строки не нужны?
Disallow: /*print=* 
Disallow: /go.php
Disallow: /component/search/?
Disallow: /components/search/?
*

Go-destroy

  • Захожу иногда
  • 221
  • 4 / 1
Цитировать
/go.php - у вас присутствует?

Цитировать
Disallow: /component/search/ - он уже закрыт. (Disallow: /component/) и Disallow: /?
« Последнее редактирование: 31.05.2013, 13:39:42 от Go-destroy »
*

Elektra

  • Захожу иногда
  • 69
  • 0 / 0
благодарю за разъяснение
*

Karabasov

  • Осваиваюсь на форуме
  • 29
  • 0 / 0
Подскажите, использую на своем ресурсе SIG галерею, во всех материалах изображения вставляю через неё. Дак вот если скопировать ссылку на изображение из статей, адрес показывает такой http://mysite/cache/preview/*8953bb008cdc0bdf02bf3e152ee5f.jpg, в связи с этим вопрос - Нужно ли в robots.txt открывать папку кеш для поисковиков ? Чтоб фотки индексировались ?
*

Elektra

  • Захожу иногда
  • 69
  • 0 / 0
Все исправила, но Google мастер говорит, что карта сайта заблокирована в robots.txt, неужели никто не сталкивался с такой проблемой?
*

kkts

  • Осваиваюсь на форуме
  • 12
  • 0 / 0
посоветуйте как разрешить индексацию http://site/blog/
и запретить:
http://site/blog/article01
http://site/blog/article02
...
http://site/blog/article0N
PS эти ссылки выдает Xmap, однако они не нужны для индексирования
« Последнее редактирование: 07.06.2013, 18:24:05 от kkts »
*

Dorotar

  • Захожу иногда
  • 69
  • 1 / 0
Все исправила, но Google мастер говорит, что карта сайта заблокирована в robots.txt, неужели никто не сталкивался с такой проблемой?


Я не спец, но у Вас в роботсе написано  "Disallow: /index.php/*"

Sitemap: http://www.site.ru/index.php?option=com_xmap&sitemap=1&view=xml

Необходимо просто поставить Rewrite на карту сайта, чтобы она была в формате http://www.site.ru/sitemap.xml

Потом просто поменять строку карты сайта в роботсе на такую:
Sitemap: http://www.site.ru/sitemap.xml
*

kkts

  • Осваиваюсь на форуме
  • 12
  • 0 / 0
или сделать
Код
Allow: /index.php?option=com_xmap&sitemap=1&view=xml 
*

Dorotar

  • Захожу иногда
  • 69
  • 1 / 0
Подскажите, использую на своем ресурсе SIG галерею, во всех материалах изображения вставляю через неё. Дак вот если скопировать ссылку на изображение из статей, адрес показывает такой http://mysite/cache/preview/*8953bb008cdc0bdf02bf3e152ee5f.jpg, в связи с этим вопрос - Нужно ли в robots.txt открывать папку кеш для поисковиков ? Чтоб фотки индексировались ?
В кеше картинки просматриваемых материалов будут сохранятся на некоторое время, на то он и кеш. Открывать не нужно - они будут индексироваться из своей основной директории /image/ в папке галереи, или где там у вас (не пользовался СИГ) если конечно же эта папка не закрыта в роботсе.
*

Elektra

  • Захожу иногда
  • 69
  • 0 / 0
или сделать
Код
Allow: /index.php?option=com_xmap&sitemap=1&view=xml 
сделано, но не канает
*

Elektra

  • Захожу иногда
  • 69
  • 0 / 0

Sitemap: http://www.site.ru/index.php?option=com_xmap&sitemap=1&view=xml

Необходимо просто поставить Rewrite на карту сайта, чтобы она была в формате http://www.site.ru/sitemap.xml


Вот это будет верно?

RewriteCond %{REQUEST_URI} ^/sitemap.xml

RewriteRule .* /index.php?option=com_xmap&sitemap=1&view=xml
*

Dorotar

  • Захожу иногда
  • 69
  • 1 / 0
Вот это будет верно?

RewriteCond %{REQUEST_URI} ^/sitemap.xml

RewriteRule .* /index.php?option=com_xmap&sitemap=1&view=xml

Да, я так делал в .htaccess, потом вставлял новую ссылку Sitemap: http://mysite.ru/sitemap.xml в роботс и кормил ею поисковиков, всем понравилось)
*

Elektra

  • Захожу иногда
  • 69
  • 0 / 0
Да, я так делал в .htaccess, потом вставлял новую ссылку Sitemap: http://mysite.ru/sitemap.xml в роботс и кормил ею поисковиков, всем понравилось)

Спасибо, буду пробовать!
*

Maxum

  • Давно я тут
  • 689
  • 32 / 1
посоветуйте как разрешить индексацию http://site/blog/
и запретить:
http://site/blog/article01
http://site/blog/article02
...
http://site/blog/article0N

Disallow: /blog/

blog будет разрешён к индексации, всё, что в него входит - запрещено.

*

Karabasov

  • Осваиваюсь на форуме
  • 29
  • 0 / 0
В кеше картинки просматриваемых материалов будут сохранятся на некоторое время, на то он и кеш. Открывать не нужно - они будут индексироваться из своей основной директории /image/ в папке галереи, или где там у вас (не пользовался СИГ) если конечно же эта папка не закрыта в роботсе.

Спасибо!
*

valandersi

  • Новичок
  • 8
  • 0 / 0
Друзья возможно вы мне поможете суть проблемы такова:

Есть сайт bezlimi.com , но у него разное число страниц, что в Google, что в яндексе.

По гуглу: site:bezlimi.com - 305 страниц
По яндексу: site:bezlimi.com - 110 страниц

Всего должно выходить 86 страниц( из которых 3 ноиндекс, ноуфоллов и 2 непроидексированны)

Как найти эти дубли, если в поисковике их не видно(пролистайте по станицам с 1 по последнюю). Что это за 214 страниц которые видет Google, и 24 которые видит Яндекс?и как из закрыть?
Спасибо
*

Dorotar

  • Захожу иногда
  • 69
  • 1 / 0
Друзья возможно вы мне поможете суть проблемы такова:

Есть сайт bezlimi.com , но у него разное число страниц, что в Google, что в яндексе.

По гуглу: site:bezlimi.com - 305 страниц
По яндексу: site:bezlimi.com - 110 страниц

Всего должно выходить 86 страниц( из которых 3 ноиндекс, ноуфоллов и 2 непроидексированны)

Как найти эти дубли, если в поисковике их не видно(пролистайте по станицам с 1 по последнюю). Что это за 214 страниц которые видет Google, и 24 которые видит Яндекс?и как из закрыть?
Спасибо

Может я плохо искал, так как лень матушка, но дублей я не нашел.
По поводу sitemap.xml = не встречал такого вида карт, возможно лучше было бы установить последний Xmap - и глазу приятно и использовать проще.
По поводу robots.txt Вот Ваш
Спойлер
[свернуть]

А вот рекомендуемый в Факе с родным SEFом

Спойлер
[свернуть]

Посмотрите, многие дисалы закроют ненужные страницы от роботов и улучшат индексацию, Да и папку "/installation/" нужно удалять сразу же после установки Joomla, она ведь вам не нужна.

Далее по делу страниц. То что боты их нашли - это не значит, что они в индексе поиска.
К примеру Гуля - Google / % страниц не под фильтрами   306 / 8 % (Он уже повыбрасывал с поиска 92% страниц)
Яша  -    111 (может у него еще руки не дошли)

Закройте ненужные директории в роботсе, поколдуйте с картой сайта (если есть желание), удалите ненужные страницы с индекса с панелей вебмастера.
*

valandersi

  • Новичок
  • 8
  • 0 / 0
sitemap.xml не компонент и модуль вручную добавлял, урлы не стандартные менял sh404ef. папки installation нету уже убрал из робота нашел проблему надеюсь не закрыл components =(  Если оно отпишусь позже.
Dorotar спс
*

Dorotar

  • Захожу иногда
  • 69
  • 1 / 0
Здравствуйте. Вопрос простой, но хочу перестраховаться:
сделал с помощью к2 тулс архив публикаций, теперь появился список материалов с вводным текстом.
Закрывать их /itemlist/ в роботсе??
*

kik84

  • Завсегдатай
  • 1339
  • 64 / 4
Как правильно открыть для индексации страницы вида: домен/категория?start=5
Allow: /?start правильный вариант?
*

Dorotar

  • Захожу иногда
  • 69
  • 1 / 0
Как правильно открыть для индексации страницы вида: домен/категория?start=5
Allow: /?start правильный вариант?
Думаю если вы их не закрывали (например так " Disallow: /*?  " или другим способом) то и открывать нет смысла, так как они и так открыты, просто пока у ПС не дошли руки или они не соответствуют требованиям ПС.

Главное - чтобы эти страницы были в карте сайта, тогда ПС сами подскажут если в их индексации есть проблема.
« Последнее редактирование: 12.07.2013, 19:40:43 от Dorotar »
*

kik84

  • Завсегдатай
  • 1339
  • 64 / 4
Думаю если вы их не закрывали (например так " Disallow: /*?  " или другим способом) то и открывать нет смысла, так как они и так открыты, просто пока у ПС не дошли руки или они не соответствуют требованиям ПС.

Главное - чтобы эти страницы были в карте сайта, тогда ПС сами подскажут если в их индексации есть проблема.

Да, Allow: /?start было ошибкой.
Google набрал лишних страниц

Подскажите, чтобы убрать страницы типа домен/index.php?option=com_komento&lang...  которые ведут почему-то на главную, достаточно ли прописать Disallow: /com_komento
« Последнее редактирование: 14.07.2013, 10:14:11 от kik84 »
*

Dorotar

  • Захожу иногда
  • 69
  • 1 / 0
Да, Allow: /?start было ошибкой.
Google набрал лишних страниц

Подскажите, чтобы убрать страницы типа домен/index.php?option=com_komento&lang...  которые ведут почему-то на главную, достаточно ли прописать Disallow: /com_komento

В принципе достаточно и Disallow: /*? #   #   #все ссылки которые содержат этот знак не индексируются !
Нужно, конечно, смотреть не закроет ли это полезные страницы.
В вашем случае это закроет домен/категория?start=5
Советую плясать от стандартного шаблона robots.txt с родным SEF
Спойлер
[свернуть]


Но перед тем как заливать такой роботс, желательно убрать index.php из адреса страниц переименовав htaccess.txt в .htaccess  и включив в Общие настройки сайта - Включить SEF (ЧПУ) - Да и Перенаправление URL - Да. Так адреса страниц станут 1 - короче, 2 - более человекопонятные. (Если сайт молодой то можно не боятся появления дублей. Они появятся так как все адреса обретут новый вид. Придется долго вручную удалять старые адреса с панели вебмастера в Google и Яндекс. Если сайт старый - это может навредить).

Если это было сделано рание, и в адресах "полезных" страниц нет index.php то указав в robots.txt   "Disallow: /index.php?  " вы закрываете те самые  домен/index.php?option=com_komento&lang...

Если для карты сайта у вас стоит хmap  (дабы действием Disallow: /index.php? не закрыть ссылку на карту сайта типа /index.php?option=com_xmap&view=xml&tmpl=component&id=2)  нужно переписать адрес карты сайта в .htaccess а именно после RewriteEngine On добавляем
Спойлер
[свернуть]

Вместо /index.php?option=com_xmap&view=xml&tmpl=component&id=2  адрес вашей карты сайта
После этого карта сайта станет в формате мойсайт.ру/sitemap.xml  и Disallow: /index.php?  ее не закроет


 

« Последнее редактирование: 14.07.2013, 22:03:45 от Dorotar »
*

PavelK

  • Захожу иногда
  • 97
  • 1 / 0
Оцените пожалуйста, всё окей ли?
Спойлер
[свернуть]
*

kik84

  • Завсегдатай
  • 1339
  • 64 / 4
Оцените пожалуйста, всё окей ли?
Спойлер
[свернуть]

Возможно, не хватает Disallow: /index2.php и еще пары-тройки (зависит от настроенного вида ссылок), а Disallow: /installation/ не нужно т.к. папка-то удалена

Для бота яндекса никогда не пишу отдельно, он вполне "понимает" User-agent: *
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться
 

Как лучше прописать robots.txt?

Автор web1

Ответов: 2
Просмотров: 157
Последний ответ 25.07.2021, 21:38:12
от web1
Как сделать правильный редирект

Автор gadjet

Ответов: 23
Просмотров: 10665
Последний ответ 17.01.2021, 18:00:11
от Vasiliy111
Разные robots.txt

Автор yyyuuu

Ответов: 7
Просмотров: 295
Последний ответ 14.01.2021, 14:06:58
от rsn
Языки /en/ /ru/ проблема с входом в админку и редиректит на site.r/ru/robots.txt

Автор HolySong

Ответов: 0
Просмотров: 349
Последний ответ 10.07.2020, 13:12:46
от HolySong
Google Search Console, sitemap.xml и robots.txt

Автор Игарь

Ответов: 7
Просмотров: 541
Последний ответ 20.05.2020, 23:36:20
от Kostelano