Проблема с robots.txt

  • 3 Ответов
  • 463 Просмотров

0 Пользователей и 1 Гость просматривают эту тему.

*

o_fedor

  • Осваиваюсь на форуме
  • ***
  • 61
  • 0
Проблема с robots.txt
« : 13.09.2015, 16:35:56 »
Добрый день, друзья.
Столкнулся вот с какой проблемой (после экспресс аудита на мегаиндексе: отсутствие кейвордов). Начал разбираться и выяснилось, что кейворды отсутствуют по адресу component/ajax/?plugin=vmquickview&virtuemart_product_id=ххх...
Открыл указанный путь и увидел нечто, а именно: открывается страница карточки товара, хотя, в robots.txt стоит запрет на папку  component
Капнул далее и обнаружил, что очень много страниц (которые мне явно не нужны в поиске), успешно проиндексировались.
Подскажите, пожалуйста, в каком разделе virtuamart или что требуется еще дописать в файле robots.txt!& >:(
Содержимое robots:
Код
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /*orderDesc
Disallow: /*by
Disallow: /*product_name
Allow: /images/stories/virtuemart/product/

User-agent: Yandex
Allow: /
Sitemap: http://gallerygold.ru/sitemap.xml
Пример некорректной страницы в поиске:
http://gallerygold.ru/component/ajax/?plugin=vmquickview&virtuemart_product_id=641
Пример корректной страницы (этой же):
http://gallerygold.ru/component/virtuemart/801?Itemid=104

*

Gosha5767

  • Завсегдатай
  • *****
  • 427
  • 21
Re: Проблема с robots.txt
« Ответ #1 : 13.09.2015, 16:42:03 »
Попробуйте использовать плагин JL No Doubles (ссылка есть на форуме)
Чистка сайта от дублей в Яндекс и Google.
Удаление ссылок (битых и внешних) на сайте.
Миграция Joomla 1.5 до Joomla 3.хх

*

Очередной вебмастер

  • Завсегдатай
  • *****
  • 784
  • 55
  • лысый умный дядя
Re: Проблема с robots.txt
« Ответ #2 : 13.09.2015, 16:45:15 »
Ну а где у вас в robots.txt закрыты эти страницы от индексации?
Раз вы не закрыли - поисковик их и проиндексировал...

Код
Disallow: /components/

Код
Disallow: /component/

Разницу чувствуете? Первое у вас есть, второго нет, значит и запрета на индексацию страниц по адресу http://gallerygold.ru/component/ajax/?plugin=vmquickview&virtuemart_product_id=641 - тоже нет.
--------
Блог о Joomla
----------
---------
Помог ответ - жми плюс!

*

o_fedor

  • Осваиваюсь на форуме
  • ***
  • 61
  • 0
Re: Проблема с robots.txt
« Ответ #3 : 13.09.2015, 16:51:53 »
Ну а где у вас в robots.txt закрыты эти страницы от индексации?
Раз вы не закрыли - поисковик их и проиндексировал...

Код
Disallow: /components/
Спасибо за то, что открыли мне глаза... Действительно, замыленный глаз и не заметил, что это разные дирректории

Код
Disallow: /component/

Разницу чувствуете? Первое у вас есть, второго нет, значит и запрета на индексацию страниц по адресу http://gallerygold.ru/component/ajax/?plugin=vmquickview&virtuemart_product_id=641 - тоже нет.

Спасибо... замыленный взгляд и не заметил, что это разные папки :D
Посмотрим что будет после установки запрета, а уж потом и плагинами будем пользоваться.

Всем спасибо, за оперативные ответы.  *DRINK*