Настройки .htaccess и robots.txt для JoomShopping

  • 185 Ответов
  • 43965 Просмотров

0 Пользователей и 1 Гость просматривают эту тему.

*

Jlekapb

  • Новичок
  • *
  • 2
  • 1
  • Dom!No ^)
Не нашел такой темы в категории joomshopping
Так как недавно начал работать с этим интернет магазином. Первый же проиндексированный сайт (15 товаров) дал 120 ссылок
При этом в роботс не закрывал никаких ссылок.
Дорогие пользователи. Не могли бы вы поделиться правильным robots.txt для JoomShopping, чтобы в индекс попадали только ЧПУ ссылки на товар.
« Последнее редактирование: 09.03.2012, 18:33:30 от nevigen »

*

ELLE

  • Support Team
  • *****
  • 4579
  • 867
Re: robots.txt в JoomShopping
« Ответ #1 : 09.03.2012, 15:30:38 »
сайт покажите, помогу вам составить роботс..
--------------------
т.к. у вас только кириллические адреса и домен рф...
пока только -
Disallow: /component/
перепишите так-
Disallow: /*component
Корзину можно так закрыть -
Disallow: /*cart

и сайт.рф/ссылки тоже стоит закрыть от индексации

Дополню для всех:
чтобы картинки индексировались необходимо прописать
Allow: /components/com_jshopping/files/img_categories/  # разрешаем индексировать картинки категорий
Allow: /components/com_jshopping/files/img_products/     # разрешаем индексировать фото товаров
« Последнее редактирование: 09.03.2012, 17:17:59 от nevigen »

*

Jlekapb

  • Новичок
  • *
  • 2
  • 1
  • Dom!No ^)
Re: robots.txt в JoomShopping
« Ответ #2 : 09.03.2012, 15:50:24 »
Спасибо. Непременно добавлю эти строчки в robots.txt

*

nevigen

  • Moderator
  • *****
  • 8832
  • 754
  • http://n*****n.com
Re: robots.txt в JoomShopping
« Ответ #3 : 09.03.2012, 17:16:51 »
А давайте сосотавим общий нормальній список под робот.тхт чтобі не возвращаться к этому вопросу ?
Я добавлю в FAQ и все..
Маестро в этом достаточно понимающий, как СЕОнист ;)
Кстати если что по ХТАКСЕСУ тоже стоило бы сделать правильную выкладку настроек ;)
« Последнее редактирование: 09.03.2012, 17:51:26 от nevigen »
Профессиональные / Бесплатные решения для JoomShopping
Не лечи бесплатно, ибо тот, кто лечится бесплатно, рано или поздно перестает ценить свое здоровье,
а тот, кто лечит бесплатно, рано или поздно перестает ценить результаты своего труда/ (с) Гиппократ?
Не ищите ответов, ищите решение !

*

Majestro

  • Осваиваюсь на форуме
  • ***
  • 170
  • 21
Re: robots.txt в JoomShopping
« Ответ #4 : 09.03.2012, 17:41:37 »
Маестро в это достаточно понимающий, как СЕОнист ;)

СЕОшнег ;) Так благозвучнее

Если что-то забыл - поправьте. Буду дописывать...

Код
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Аllow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /*user
Disallow: /component
Disallow: /*product
Disallow: /*category
Disallow: /*cart
Disallow: /*search
Disallow: /*wishlist
Disallow: /*?tmpl
Allow: /components/com_jshopping/files/img_products/
Allow: /components/com_jshopping/files/img_categories/
Host: domain.ru
Sitemap: sitemap_url

Подходит для тех, кто правильно настроил ссылки!
Поправьте у себя Host и Sitemap
« Последнее редактирование: 09.03.2012, 20:45:49 от Majestro »

*

Majestro

  • Осваиваюсь на форуме
  • ***
  • 170
  • 21
Re: robots.txt в JoomShopping
« Ответ #5 : 09.03.2012, 18:27:04 »
Поправка на ветер!

Ваш сайт должен быть доступен только по одному адресу: ИЛИ с www ИЛИ без www - выбор за вами. Со второго адреса нужно настраивать 301 редирект на основной домен, который указан в директиве Host в robots.txt

На счет .htaccess - файл настраивается индивидуально.

В нем можно прописать следующее

Код
Options -Indexes
запрет листинга каталогов

Цитировать
RewriteEngine On

RewriteCond %{HTTP_HOST} ^www\.zlatomania\.ru$ [NC]
RewriteRule ^(.*)$ http://zlatomania.ru%{REQUEST_URI} [L,R=301]
301 редирект на "без www"

Остальное настраивается индивидуально.

*

nevigen

  • Moderator
  • *****
  • 8832
  • 754
  • http://n*****n.com
Re: Настройки .htaccess и robots.txt для JoomShopping
« Ответ #6 : 09.03.2012, 18:39:21 »
Спасибо !
Добавил в FAQ.
Профессиональные / Бесплатные решения для JoomShopping
Не лечи бесплатно, ибо тот, кто лечится бесплатно, рано или поздно перестает ценить свое здоровье,
а тот, кто лечит бесплатно, рано или поздно перестает ценить результаты своего труда/ (с) Гиппократ?
Не ищите ответов, ищите решение !

*

ELLE

  • Support Team
  • *****
  • 4579
  • 867
Re: Настройки .htaccess и robots.txt для JoomShopping
« Ответ #7 : 09.03.2012, 18:50:22 »
Disallow: /installation/
- это можно удалить

Disallow: /images/
- это закроет картинки в Joomla

Цитировать
Disallow: /cart/
Disallow: /search/
Disallow: /wishlist/
спорный момент - в корне нет таких директорий  и работать не будет, стоит указать по другому..
« Последнее редактирование: 09.03.2012, 20:03:04 от ELLE »

*

danik.html

  • Практически профи
  • *******
  • 2659
  • 348
Re: Настройки .htaccess и robots.txt для JoomShopping
« Ответ #8 : 09.03.2012, 18:56:25 »
В нем можно прописать следующее

Код
Options -Indexes
запрет листинга каталогов
Лишнее. В Joomla листинг глушится двумя с чемто тысячами файлов index.html в каждой папке :)


Цитировать
Disallow: /libraries/
Disallow: /logs/
Объясните пожалуйста мне, откуда поисковики находят такие пути, ониж на сайте не встречаются нигде. Че, перебором чели? И не как не погибает сервер от тьмы запросов?
【Мегапак Virtuemart:
 • метатеги (description,keywords)
 • заголовки (title)
 • красивые алиасы (чпу) без тормозов и дублей!

*

Majestro

  • Осваиваюсь на форуме
  • ***
  • 170
  • 21
Re: Настройки .htaccess и robots.txt для JoomShopping
« Ответ #9 : 09.03.2012, 19:16:34 »
Я показал полный файл, с папками от Joomla.
Кстати, ошибка у меня :( Я забыл про пагинацию в каталогах - там есть вопрос. Следовательно Disallow: /*? - ошибка.

Заменим на /*?tmpl - это печать карточки товара

*

Majestro

  • Осваиваюсь на форуме
  • ***
  • 170
  • 21
Re: Настройки .htaccess и robots.txt для JoomShopping
« Ответ #10 : 09.03.2012, 19:20:59 »
Лишнее. В Joomla листинг глушится двумя с чемто тысячами файлов index.html в каждой папке :)

Не лишнее. В ДжумШопе глушилок нет. Смотрите на свои файлы вашдомен/components/com_jshopping/controllers/

Объясните пожалуйста мне, откуда поисковики находят такие пути, ониж на сайте не встречаются нигде. Че, перебором чели? И не как не погибает сервер от тьмы запросов?

Пути могут быть и на других сайтах, которые ссылаются на Ваш. Из вредности...

*

danik.html

  • Практически профи
  • *******
  • 2659
  • 348
Re: Настройки .htaccess и robots.txt для JoomShopping
« Ответ #11 : 09.03.2012, 19:59:51 »
Не лишнее. В ДжумШопе глушилок нет. Смотрите на свои файлы вашдомен/components/com_jshopping/controllers/
Ага, точно, они решили забить :) Хотя на JED'е вроде как это обязательное требование.
Пути могут быть и на других сайтах, которые ссылаются на Ваш. Из вредности...
Угу, а чет даже в голову не пришло. Хотя если кто захочет навредить, то понаделает таких ссылок, что будешь месяц составлять роботс чтоб учесть все нюансы ))
【Мегапак Virtuemart:
 • метатеги (description,keywords)
 • заголовки (title)
 • красивые алиасы (чпу) без тормозов и дублей!

*

Majestro

  • Осваиваюсь на форуме
  • ***
  • 170
  • 21
Re: Настройки .htaccess и robots.txt для JoomShopping
« Ответ #12 : 09.03.2012, 20:43:39 »
ELLE, вы правы, ошибка исправлена

*

danik.html

  • Практически профи
  • *******
  • 2659
  • 348
Re: Настройки .htaccess и robots.txt для JoomShopping
« Ответ #13 : 09.03.2012, 21:01:30 »
А че папки с картинками производителей стороной обошел? Хотя не, кому нужно тот сам допишет )
【Мегапак Virtuemart:
 • метатеги (description,keywords)
 • заголовки (title)
 • красивые алиасы (чпу) без тормозов и дублей!

*

Aspik

  • Завсегдатай
  • *****
  • 543
  • 61
  • В личку не писать, не отвечу.
Re: Настройки .htaccess и robots.txt для JoomShopping
« Ответ #14 : 09.03.2012, 21:50:20 »
Ага, точно, они решили забить :) Хотя на JED'е вроде как это обязательное требование.
Во всех папках должны быть index.html !  Любой php файл должен содержать defined('_JEXEC') or die; Исправить же не долго, а вот из каталога вылетят из-за этого запросто. :(
Модули Joomla | Joomla extensions
- - - - - -
- - - - - -
Шаблоны Joomla
- - - - - -
- - - - - -

*

danik.html

  • Практически профи
  • *******
  • 2659
  • 348
Re: Настройки .htaccess и robots.txt для JoomShopping
« Ответ #15 : 09.03.2012, 21:56:19 »
Они итак уже вылетели :)
【Мегапак Virtuemart:
 • метатеги (description,keywords)
 • заголовки (title)
 • красивые алиасы (чпу) без тормозов и дублей!

*

kurandin

  • Осваиваюсь на форуме
  • ***
  • 159
  • 5
Re: Настройки .htaccess и robots.txt для JoomShopping
« Ответ #16 : 19.03.2012, 02:44:15 »
Поправка на ветер!

Ваш сайт должен быть доступен только по одному адресу: ИЛИ с www ИЛИ без www - выбор за вами. Со второго адреса нужно настраивать 301 редирект на основной домен, который указан в директиве Host в robots.txt

На счет .htaccess - файл настраивается индивидуально.

В нем можно прописать следующее

Код
Options -Indexes
запрет листинга каталогов
301 редирект на "без www"

Остальное настраивается индивидуально.

я так и сделал
после этого у меня открывалась только главная страница - все линки переадресовывались на нее

*

StyleRocket

  • Завсегдатай
  • *****
  • 567
  • 1
Re: Настройки .htaccess и robots.txt для JoomShopping
« Ответ #17 : 12.04.2012, 23:10:01 »
Поправка на ветер!

Ваш сайт должен быть доступен только по одному адресу: ИЛИ с www ИЛИ без www - выбор за вами. Со второго адреса нужно настраивать 301 редирект на основной домен, который указан в директиве Host в robots.txt

На счет .htaccess - файл настраивается индивидуально.

В нем можно прописать следующее

Код
Options -Indexes
запрет листинга каталогов
301 редирект на "без www"

Остальное настраивается индивидуально.
## Mod_rewrite in use.

RewriteEngine On

RewriteCond %{HTTP_HOST} ^www\.site\.ru$ [NC]
RewriteRule ^(.*)$ http://site.ru/$1 или %{REQUEST_URI} [L,R=301]
Можно вопрос, мне так и прописывать если (Добавлять суффикс к URL в положении НЕТ), боюсь что дубли будут

*

AxMan

  • Захожу иногда
  • **
  • 17
  • 0
Re: Настройки .htaccess и robots.txt для JoomShopping
« Ответ #18 : 18.04.2012, 01:10:13 »
Спасибо.
В дополнение скажу следующее:

Как правильно заполнить каталог продукции на сайте?

1. Компания-реселлер размещает продукцию производителя на собственном сайте. При этом обычно полностью копируется текст описания товара и его изображения с сайта производителя. В результате поисковые системы считают страницы каталога на сайте реселлера дублированным контентом. Такие страницы либо не показываются в результатах поиска, либо показываются только при поиске по определенному региону.
Решение: переписать описание товара. Иногда описание представляет собой таблицу, либо технические характеристики, которые нельзя переформулировать по своему. В таких случаях, необходимо добавить свои комментарии, советы по использованию. Можно разместить отзывы клиентов.

2. Если у каждого товара имеется страница с подробным описанием, необходимо спрятать от поисковых систем все промежуточные страницы, позволяющие перемещатся по каталогу, включая поиск по каталогу, постраничную навигацию по разделам, страницы спецпредложений. Запретить индексацию этих страниц можно в файле robots.txt.

Disallow: /catalog/search
Disallow: /catalog/page/*
...
Если этого не сделать, то поисковые системы посчитают, что эти страницы частично дублируют контент, размещенный на конечных страницах каталога. Это ухудшит оценку качества сайта и плохо повлияет на продвижение сайта в поисковых системах. Для Google особенно важно отсутствие дублированного и частично дублированного контента.

3. Структура каталога. Желательно, чтобы уровни разделов и подразделов каталога соотносились с глубиной адресов страниц. Например:

Каталог продукции                                                                                        http://site.ru/catalog
Каталог продукции\Оборудование                                                                   http://site.ru/catalog/oborudovanie
Каталог продукции\Оборудование\Для заморозки                                             http://site.ru/catalog/oborudovanie/frost
Каталог продукции\Оборудование\Для заморозки\Замораживатель №1234           http://site.ru/catalog/oborudovanie/frost/1234

Правильно организованная структура каталога позволяет Яндексу размещать быстрые ссылки в результатах поиска. Кроме того, если названия разделов каталога являются ключевыми словами, их упоминание в адресе конкретной позиции положительно повлияет на продвижение товара по этим фразам.

Отличное дополнение, для полноты.

P.S. Извините, если не по теме, но только сюда подойдет.
« Последнее редактирование: 18.04.2012, 03:29:37 от AxMan »

*

AxMan

  • Захожу иногда
  • **
  • 17
  • 0
Re: Настройки .htaccess и robots.txt для JoomShopping
« Ответ #19 : 25.04.2012, 14:28:18 »
Код
Disallow: /*product
Disallow: /*category

А это не уберет из поиска страницы на товар и категории?
Как же тогда человек ищущий конкретный товар, в поиске на меня нарвётся? =(

*

danik.html

  • Практически профи
  • *******
  • 2659
  • 348
Re: Настройки .htaccess и robots.txt для JoomShopping
« Ответ #20 : 25.04.2012, 18:36:53 »
3. Структура каталога. Желательно, чтобы уровни разделов и подразделов каталога соотносились с глубиной адресов страниц. Например:

Каталог продукции                                                                                        http://site.ru/catalog
Каталог продукции\Оборудование                                                                   http://site.ru/catalog/oborudovanie
Каталог продукции\Оборудование\Для заморозки                                             http://site.ru/catalog/oborudovanie/frost
Каталог продукции\Оборудование\Для заморозки\Замораживатель №1234           http://site.ru/catalog/oborudovanie/frost/1234

Правильно организованная структура каталога позволяет Яндексу размещать быстрые ссылки в результатах поиска. Кроме того, если названия разделов каталога являются ключевыми словами, их упоминание в адресе конкретной позиции положительно повлияет на продвижение товара по этим фразам.

Кстати както ради интереса делал такое в джумшопе. Работало. Осталось только оптимизировать использование ресурсов.
Кому интересно -  пишите, может быть доработаю решение. Там еще по пути корректная работа с привязкой категорий к пунктам меню была сделана...
【Мегапак Virtuemart:
 • метатеги (description,keywords)
 • заголовки (title)
 • красивые алиасы (чпу) без тормозов и дублей!

*

N.Nick

  • Давно я тут
  • ****
  • 233
  • 5
Re: Настройки .htaccess и robots.txt для JoomShopping
« Ответ #21 : 07.05.2012, 14:48:31 »
Я что-то так и не понял этой строки:
Disallow: /component
Я так понял что нужно добавить слеш Disallow: /component/
Или сделать Disallow: /*component

И ешё почему это не прописано
Disallow: /index.php?
Disallow: /index.html
Disallow: /index.php
Или оно не нужно?

И вот это нужно или нет, я тоже не понял:
Disallow: /*product
Disallow: /*category
Поисковики что тогда будут видеть?
Магазин музыкальных инструментов RiffMusic
http://riffmusic.com.ua

*

orexov_m

  • Давно я тут
  • ****
  • 281
  • 24
Re: Настройки .htaccess и robots.txt для JoomShopping
« Ответ #22 : 11.05.2012, 08:38:06 »
У меня вообще непонятно почему товаров нет в индексе. хотя Яндекс загрузил 272 урл а вот в поиске всего 23.
То есть ссылки на материалы и категории. А вот ссылок на товары напрочь нет и все тут :(
вот код robots.txt подскажите почему не индексируются товары :(
Код
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Аllow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /*user
Disallow: /component
Disallow: /*product
Disallow: /*category
Disallow: /*cart
Disallow: /*search
Disallow: /*wishlist
Disallow: /*?tmpl
Allow: /components/com_jshopping/files/img_products/
Allow: /components/com_jshopping/files/img_categories/
Host: domen.ru
Sitemap: /index.php?option=com_xmap&view=xml&tmpl=component&id=1

*

johnrass

  • Осваиваюсь на форуме
  • ***
  • 126
  • 26
Re: Настройки .htaccess и robots.txt для JoomShopping
« Ответ #23 : 11.05.2012, 17:53:42 »
Зайдите в Яндекс Вебмастер и там проверьте блокирует ли робот.тхт или нет (Настройка индексирования --> Анализ robots.txt --> Список URL
добавить)

*

orexov_m

  • Давно я тут
  • ****
  • 281
  • 24
Re: Настройки .htaccess и robots.txt для JoomShopping
« Ответ #24 : 11.05.2012, 18:08:03 »
Зайдите в Яндекс Вебмастер и там проверьте блокирует ли робот.тхт или нет (Настройка индексирования --> Анализ robots.txt --> Список URL
добавить)
я так то в урл которые в индекс яндекса добавлены вижу 23 как написал выше, остальные Яндекс не видит. поэтому и спрашиваю как сделать чтобы он тоже их добавил

*

AxMan

  • Захожу иногда
  • **
  • 17
  • 0
Re: Настройки .htaccess и robots.txt для JoomShopping
« Ответ #25 : 11.05.2012, 19:10:05 »
Тоже интересно. Может кто поделится опытом ?  >:(

*

nevigen

  • Moderator
  • *****
  • 8832
  • 754
  • http://n*****n.com
Re: Настройки .htaccess и robots.txt для JoomShopping
« Ответ #26 : 11.05.2012, 19:15:46 »
все сразу в индекс не попадает. со временем будет больше.
Профессиональные / Бесплатные решения для JoomShopping
Не лечи бесплатно, ибо тот, кто лечится бесплатно, рано или поздно перестает ценить свое здоровье,
а тот, кто лечит бесплатно, рано или поздно перестает ценить результаты своего труда/ (с) Гиппократ?
Не ищите ответов, ищите решение !

*

johnrass

  • Осваиваюсь на форуме
  • ***
  • 126
  • 26
Re: Настройки .htaccess и robots.txt для JoomShopping
« Ответ #27 : 11.05.2012, 19:16:24 »
Приведите вариант ссылки которую игнорирует Яндекс.
Sitemap: /index.php?option=com_xmap&view=xml&tmpl=component&id=1 должна быть вида
Sitemap: domen.ru/index.php?option=com_xmap&view=xml&tmpl=component&id=1

*

orexov_m

  • Давно я тут
  • ****
  • 281
  • 24
Re: Настройки .htaccess и robots.txt для JoomShopping
« Ответ #28 : 11.05.2012, 19:18:11 »
Приведите вариант ссылки которую игнорирует Яндекс.
Sitemap: /index.php?option=com_xmap&view=xml&tmpl=component&id=1 должна быть вида
Sitemap: domen.ru/index.php?option=com_xmap&view=xml&tmpl=component&id=1
с этим уже разобрался сам и поправил. но все равно спс :)

*

orexov_m

  • Давно я тут
  • ****
  • 281
  • 24
Re: Настройки .htaccess и robots.txt для JoomShopping
« Ответ #29 : 11.05.2012, 19:18:39 »
все сразу в индекс не попадает. со временем будет больше.

сайту уже больше двух месяцев, как то маловато ссылочек в индексе мне кажется