0 Пользователей и 1 Гость просматривают эту тему.
  • 3 Ответов
  • 1054 Просмотров
*

o_fedor

  • Захожу иногда
  • 56
  • 0 / 0
Проблема с robots.txt
« : 13.09.2015, 14:35:56 »
Добрый день, друзья.
Столкнулся вот с какой проблемой (после экспресс аудита на мегаиндексе: отсутствие кейвордов). Начал разбираться и выяснилось, что кейворды отсутствуют по адресу component/ajax/?plugin=vmquickview&virtuemart_product_id=ххх...
Открыл указанный путь и увидел нечто, а именно: открывается страница карточки товара, хотя, в robots.txt стоит запрет на папку  component
Капнул далее и обнаружил, что очень много страниц (которые мне явно не нужны в поиске), успешно проиндексировались.
Подскажите, пожалуйста, в каком разделе virtuamart или что требуется еще дописать в файле robots.txt!& >:(
Содержимое robots:
Код
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /*orderDesc
Disallow: /*by
Disallow: /*product_name
Allow: /images/stories/virtuemart/product/

User-agent: Yandex
Allow: /
Sitemap: http://gallerygold.ru/sitemap.xml
Пример некорректной страницы в поиске:
http://gallerygold.ru/component/ajax/?plugin=vmquickview&virtuemart_product_id=641
Пример корректной страницы (этой же):
http://gallerygold.ru/component/virtuemart/801?Itemid=104
*

Gosha5767

  • Захожу иногда
  • 487
  • 27 / 0
Re: Проблема с robots.txt
« Ответ #1 : 13.09.2015, 14:42:03 »
Попробуйте использовать плагин JL No Doubles (ссылка есть на форуме)
Чистка сайта от дублей в Яндекс и Google.
Миграция Joomla 1.5 до Joomla 3.хх
Доработка сайта
*

Очередной вебмастер

  • Давно я тут
  • 768
  • 55 / 0
  • лысый умный дядя
Re: Проблема с robots.txt
« Ответ #2 : 13.09.2015, 14:45:15 »
Ну а где у вас в robots.txt закрыты эти страницы от индексации?
Раз вы не закрыли - поисковик их и проиндексировал...

Код
Disallow: /components/

Код
Disallow: /component/

Разницу чувствуете? Первое у вас есть, второго нет, значит и запрета на индексацию страниц по адресу http://gallerygold.ru/component/ajax/?plugin=vmquickview&virtuemart_product_id=641 - тоже нет.
Сайты на Joomla, разработка и поддержка
----------
Помог ответ - жми плюс!
*

o_fedor

  • Захожу иногда
  • 56
  • 0 / 0
Re: Проблема с robots.txt
« Ответ #3 : 13.09.2015, 14:51:53 »
Ну а где у вас в robots.txt закрыты эти страницы от индексации?
Раз вы не закрыли - поисковик их и проиндексировал...

Код
Disallow: /components/
Спасибо за то, что открыли мне глаза... Действительно, замыленный глаз и не заметил, что это разные дирректории

Код
Disallow: /component/

Разницу чувствуете? Первое у вас есть, второго нет, значит и запрета на индексацию страниц по адресу http://gallerygold.ru/component/ajax/?plugin=vmquickview&virtuemart_product_id=641 - тоже нет.

Спасибо... замыленный взгляд и не заметил, что это разные папки :D
Посмотрим что будет после установки запрета, а уж потом и плагинами будем пользоваться.

Всем спасибо, за оперативные ответы.  *DRINK*
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться
 

Роботу Googlebot заблокирован доступ в файле robots.txt

Автор illimited

Ответов: 3
Просмотров: 1704
Последний ответ 29.05.2022, 14:57:55
от web1
Правильный robots.txt? [вопросы/обсуждение]

Автор wishlight

Ответов: 447
Просмотров: 200753
Последний ответ 20.11.2021, 16:53:49
от Byzi
Как лучше прописать robots.txt?

Автор web1

Ответов: 2
Просмотров: 640
Последний ответ 25.07.2021, 21:38:12
от web1
Разные robots.txt

Автор yyyuuu

Ответов: 7
Просмотров: 657
Последний ответ 14.01.2021, 14:06:58
от rsn
Проблема с поисковиком

Автор Vismuth

Ответов: 6
Просмотров: 572
Последний ответ 09.11.2020, 13:51:26
от Vismuth