Форум русской поддержки Joomla!® CMS
08.12.2016, 08:05:42 *
Добро пожаловать, Гость. Пожалуйста, войдите или зарегистрируйтесь.
Вам не пришло письмо с кодом активации?

Войти
   
   Начало   Поиск Joomla 3.0 FAQ Joomla 2.5 FAQ Joomla 1.5 FAQ Правила форума Новости Joomla Реклама Войти Регистрация Помощь  
Страниц: [1]   Вниз
  Добавить закладку  |  Печать  
Автор

[Решено] Google пишет: "URL, запрещенный файлом robots.txt"

 (Прочитано 1541 раз)
0 Пользователей и 1 Гость смотрят эту тему.
Vovansk
Осваиваюсь на форуме
***

Репутация: +0/-0
Offline Offline

Пол: Мужской
Сообщений: 49


« : 22.04.2015, 14:28:57 »

Здравствуйте, Все!

Хотя написал для новичков, как я)))
Сталкнулся с вопросом по Sitemap и часа четыре убил...

Google пишет:"При попытке доступа к вашему файлу Sitemap произошла ошибка. Убедитесь, что этот файл Sitemap соответствует нашим правилам и находится в указанном местоположении, а затем отправьте его повторно.
URL, запрещенный файлом robots.txt"
Несколько топов через поиск почитал но ситуацию исправить не удавалось. Адрес карты указан в robots.txt, как у многих -
Sitemap: http://***.ru/index.php?option=com_xmap&view=xml&tmpl=component&id=1

И тут осенило, что не так давно в индексе появились URLы со знаком "?", нарыл решение и в robots добавлял:
Disallow: /*?
Disallow: /*%
Disallow: /*&
Для начала удалил добавленное, не помогло,
нашёл пост, в нём правда говорится о SEF Service Map а не о XMаp, но не суть:

Код:
User-agent: Yandex
Allow: /index.php?option=com_xmap&sitemap=1&view=xml
Disallow: ......
Disallow: /*?
Host: xxxx.ru

User-agent: *
Allow: /index.php?option=com_xmap&sitemap=1&view=xml
Disallow: .....
Disallow: /*?

Sitemap: http://xxxx.ru/index.php?option=com_xmap&sitemap=1&view=xml

----------------------------
- если создавали пункт меню sitemap, XML карта должна быть доступна по адресу http://xxxx.ru/index.php?option=com_xmap&sitemap=1&view=xml
                               

Добавил - Allow: /index.php?option=com_xmap&view=xml&tmpl=component&id=1
После каждой манипуляции в "Инструменты для веб-мастеров" Google делал проверку Sitemap, не помогало. Ответ был один - URL, запрещенный файлом robots.txt.
Кто мог подумать, я не мог, что вроде при проверке онлайн, Google пользуется старым, давно загруженным вариантом robots!
Короче, пока не скормил (Инструмент проверки файла robots.txt, кнопка "отправить") новый robots дело не сдвинулось. И о чудо, ошибка пропала.
Вернул на место удалённое, чтоб не лезли в индекс дубли:
Disallow: /*?
Disallow: /*%
Disallow: /*&
и конечно же оставил
Allow: /index.php?option=com_xmap&sitemap=1&view=xml (должен идти ДО(перед)! Disallow)
У меня заработало. Всем удачи!


Записан
SeBun
Практически профи
*******

Репутация: +134/-3
Offline Offline

Пол: Мужской
Сообщений: 2286



« Ответ #1 : 22.04.2015, 17:49:52 »

Напоследок совет - поставьте не Xmap, a MapX - то же самое, только новее.
Записан
Страниц: [1]   Вверх
  Добавить закладку  |  Печать  
 
Перейти в:  

Powered by SMF 1.1.21 | SMF © 2006, Simple Machines

Joomlaforum.ru is not affiliated with or endorsed by the Joomla! Project or Open Source Matters.
The Joomla! name and logo is used under a limited license granted by Open Source Matters
the trademark holder in the United States and other countries.

LiveInternet