[Решено] Google пишет: "URL, запрещенный файлом robots.txt"

  • 2 Ответов
  • 2654 Просмотров

0 Пользователей и 1 Гость просматривают эту тему.

*

Vovansk

  • ***
  • 53
  • 0
Здравствуйте, Все!

Хотя написал для новичков, как я)))
Сталкнулся с вопросом по Sitemap и часа четыре убил...

Google пишет:"При попытке доступа к вашему файлу Sitemap произошла ошибка. Убедитесь, что этот файл Sitemap соответствует нашим правилам и находится в указанном местоположении, а затем отправьте его повторно.
URL, запрещенный файлом robots.txt"
Несколько топов через поиск почитал но ситуацию исправить не удавалось. Адрес карты указан в robots.txt, как у многих -
Sitemap: http://***.ru/index.php?option=com_xmap&view=xml&tmpl=component&id=1

И тут осенило, что не так давно в индексе появились URLы со знаком "?", нарыл решение и в robots добавлял:
Disallow: /*?
Disallow: /*%
Disallow: /*&
Для начала удалил добавленное, не помогло,
нашёл пост, в нём правда говорится о SEF Service Map а не о XMаp, но не суть:

Код
User-agent: Yandex
Allow: /index.php?option=com_xmap&sitemap=1&view=xml
Disallow: ......
Disallow: /*?
Host: xxxx.ru

User-agent: *
Allow: /index.php?option=com_xmap&sitemap=1&view=xml
Disallow: .....
Disallow: /*?

Sitemap: http://xxxx.ru/index.php?option=com_xmap&sitemap=1&view=xml

----------------------------
- если создавали пункт меню sitemap, XML карта должна быть доступна по адресу http://xxxx.ru/index.php?option=com_xmap&sitemap=1&view=xml
                               

Добавил - Allow: /index.php?option=com_xmap&view=xml&tmpl=component&id=1
После каждой манипуляции в "Инструменты для веб-мастеров" Google делал проверку Sitemap, не помогало. Ответ был один - URL, запрещенный файлом robots.txt.
Кто мог подумать, я не мог, что вроде при проверке онлайн, Google пользуется старым, давно загруженным вариантом robots!
Короче, пока не скормил (Инструмент проверки файла robots.txt, кнопка "отправить") новый robots дело не сдвинулось. И о чудо, ошибка пропала.
Вернул на место удалённое, чтоб не лезли в индекс дубли:
Disallow: /*?
Disallow: /*%
Disallow: /*&
и конечно же оставил
Allow: /index.php?option=com_xmap&sitemap=1&view=xml (должен идти ДО(перед)! Disallow)
У меня заработало. Всем удачи!



*

SeBun

  • *******
  • 3050
  • 185
  • @SeBun48
Напоследок совет - поставьте не Xmap, a MapX - то же самое, только новее.
Оказываю услуги по Joomla | Миграция на Joomla 3.x | Администрирование
Ник занят | По личным вопросам не консультирую

*

Tikhon

  • **
  • 12
  • 0
Вот, огромное спасибо! Е....я две недели, сделал как у Вас написано - все заработало как по Чехову!