Новости Joomla

0 Пользователей и 1 Гость просматривают эту тему.
  • 63 Ответов
  • 39231 Просмотров
*

mrhuge

  • Захожу иногда
  • 222
  • 7 / 0
  • http://muzalliance.ru/
Ребята, решил провести исследование на тему как же правильно сформировать robots.txt на сайте с магазином VirtueMart. Какие исходные данные:

1) SEF компоненты не используем по причине их ресурсозатратности. То есть объединения всех ссылок в одну, как это делает sh404SEF не будет,
2) для создания ЧПУ ссылок используем супер роутер, разработанный danik.html-ем отсюда http://joomlaforum.ru/index.php/topic,130264.0.html запросов в бд минимум, работает быстро и делает красивые url,
3) в общих настройках Joomla все 3 опции SEO включены, страницы просматриваются без index.php

Что мы имеем в результате юзания роутера:

После установки роутера мы имеем 3 ссылки на один и тотже товар:
http://muzalliance.ru/shop/product/5-access-virus-c.html - вход через страницу следующего товара
http://muzalliance.ru/shop/category/product/2-sintezatori/5-access-virus-c.html - вход через категорию
http://muzalliance.ru/shop/category/manufacturer/product/2-sintezatori/3-access/5-access-virus-c.html - вход через категорию отфильтрованную по производителю

По старым ссылкам даже после применения роутера всё равно заходит:
http://muzalliance.ru/shop.html?page=shop.product_details&product_id=5&flypage=flypage.tpl&pop=0
http://muzalliance.ru/shop.html?page=shop.product_details&flypage=flypage.tpl&product_id=5&category_id=2
http://muzalliance.ru/shop.html?page=shop.product_details&flypage=flypage.tpl&product_id=5&category_id=2&manufacturer_id=3

shop - это алиас

Откудато берутся и ссылки такого вида и причем формируются на главной странице:
http://muzalliance.ru/index.php?page=shop.product_details&flypage=flypage.tpl&product_id=5&option=com_virtuemart&Itemid=1&vmcchk=1&Itemid=1
http://muzalliance.ru/index.php?page=shop.product_details&flypage=flypage.tpl&product_id=5&category_id=2&option=com_virtuemart&Itemid=1&vmcchk=1&Itemid=1
http://muzalliance.ru/index.php?page=shop.product_details&flypage=flypage.tpl&product_id=5&category_id=2&manufacturer_id=3&option=com_virtuemart&Itemid=1&vmcchk=1&Itemid=1

Итого минимум 9 ссылок на одну и ту же страницу, а на самом деле еще больше! Вот пример http://forum.virtuemart.net/index.php?topic=71524.0 Там только с началом /index.php? на один товар 9 страниц. Одуреть можно. Эти дубли делает вонючий Вирт, но надо определиться как с этим быть.

Нашел пример robots.txt у чувака с VirtueMart, который юзает SEF роутер http://forum.virtuemart.net/index.php?topic=65697.msg227796#msg227796 :

Цитировать
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /editor/
Disallow: /help/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /mambots/
Disallow: /media/
Disallow: /modules/
Disallow: /templates/
Disallow: /index.php?option=com_events
Disallow: /index.php?option=com_virtuemart&page=shop.registration
Disallow: /index.php?page=account.index
Disallow: /index.php?option=com_virtuemart&page=shop.search
Disallow: /index.php?page=shop.browse&age_id
Disallow: /index.php?page=shop.cart&func=cartAdd&
Disallow: /index.php?page=shop.cart
Disallow: /index.php?page=checkout.index
Disallow: /index2.php
Disallow: /index.php?page=shop.browse&age_id=
Disallow: *index2.php?
Disallow: /index2.php*
Disallow: /*?pop=0
Disallow: /*?pop=1
Disallow: /*?catid=0
Disallow: /*?catid=1
Disallow: /*?catid=
Sitemap: http://www.darjeelingteaexclusive.com/index.php?option=com_xmap&sitemap=1&view=xml

Так вот, я посмотрел какие у него страницы проиндексированы в Google - http://www.google.com/search?hl=en&safe=off&q=site%3Awww.darjeelingteaexclusive.com

Там проиндексирована куча страшных ссылок на товары вида http://www.darjeelingteaexclusive.com/index.php?page=shop.product_details&flypage=flypage.tpl&product_id=46&category_id=7&option=com_virtuemart&Itemid=1&vmcchk=1&Itemid=1

Есть выдержка из robots.txt на быстром сайте aloris.ru, на котором юзается только стандартный SEF
Цитировать
Disallow: /index.php?
Disallow: /component/page,shop.cart/
Disallow: /component/option,com_registration/
Disallow: /component/option,com_linkexchange/

Как мы видим строкой Disallow: /index.php? закрыты все страницы с началом index.php?, но это не мешает Яндексу проиндексировать кучу дублей страницы одного и того же товара http://yandex.ru/yandsearch?lr=55&site=www.aloris.ru&text=%D0%BA%D0%BE%D0%BB%D1%8C%D1%86%D0%BE+132

Давайте подумаем какие нам нужны условия, которыми будем закрывать url-ы в robots.txt. Вот один парень предложил короткое и изящное решение:
http://forum.virtuemart.net/index.php?topic=28802.msg86229#msg86229

то есть вставляем в .htaccess после rewrite base

Цитировать
RewriteRule ^(.*)-[0-9]{1,2}\.html$ http://www.ваш_сайт.ру/$1.html [L,R=301]

Это правило переписывает url страницы товара с окончаниями -1.html, -2.html, -n.html, созданные компонентом Artio JoomSEF, надо как-то доработать это правило для использования случая с роутером.

и добавляем в robots.txt:

Цитировать
Disallow: /*?*
Disallow: /index.php?

По сути это закрывает все страницы с динамическими адресами на сайте со знаками вопроса. Пишет, что вроде как дубли страниц не находятся роботами вообще.

Плюс нужно еще открыть доступ к картинкам VirtueMart. Здесь это обсуждают:
http://joomlaforum.ru/index.php/topic,18057.0.html
http://joomlaforum.ru/index.php/topic,16891.0.html

Плюс поисковики умудряются индексировать корзину и форму задать вопрос по этому товару для каждого товара. В результате образуется масса спама. Думаю вообще стоит закрыть /component/virtuemart/ и /shop/ и вручную разрешить только нужные ссылки с товарами и категориями, а то какая-то помойка образуется.

В общем цель - сделать идеальный robots.txt для сайта с VirtueMart.
___________________________________________________________________________________________________________

Сюда буду добавлять сам текст изготовляемого robots.txt

Цитировать
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /component/virtuemart/
Disallow: /shop/category/manufacturer/product/
Disallow: /shop/product/
Disallow: /shop.html
Disallow: /shop/account.html
Disallow: /shop/cart.html
Disallow: /shop/ask/
Disallow: /shop/feed/
Disallow: /component/forme.html
Disallow: /component/content/article/1-kategoria1/
Disallow: /component/mailto/
Disallow: /component/user/
Disallow: /index.php?
Disallow: /*?*
Disallow: /index2.php
Disallow: /forum/viewtopic.php
Disallow: /forum/viewforum.php
Disallow: /forum/index.php?
Disallow: /forum/post
Disallow: /forum/member
Disallow: /forum/faq.php
Disallow: /forum/mcp.php
Disallow: /forum/memberlist.php
Disallow: /forum/posting.php
Disallow: /forum/report.php
Disallow: /forum/search.php
Disallow: /forum/style.php
Disallow: /forum/ucp.php
Disallow: /404
Sitemap: http://muzalliance.ru/sitemap.xml
Host: muzalliance.ru
« Последнее редактирование: 23.12.2010, 22:38:20 от mrhuge »
*

mrhuge

  • Захожу иногда
  • 222
  • 7 / 0
  • http://muzalliance.ru/
Добавил сам текст изготовляемого robots.txt
« Последнее редактирование: 27.09.2010, 11:07:26 от mrhuge »
*

danik.html

  • Живу я здесь
  • 2650
  • 353 / 4
Цитировать
По старым ссылкам даже после применения роутера всё равно заходит:
http://muzalliance.ru/shop.html?page=shop.product_details&product_id=5&flypage=flypage.tpl&pop=0

Конечно заходит, а почему не будет? Это "родной" динамический урл, которому Joomla только рада. Другой вопрос где их Yandex находит. Ведь будет работать и такой урл:
http://muzalliance.ru/shop.html?page=shop.product_details&product_id=5&flypage=flypage.tpl&pop=0&hello=1&else=something&virtuemart=shit и тдд... но это не проблема, так как у нас нет подобных ссылок.

думаю нужно спрятать все ссылки с шопом, кроме /shop/category/product/

Прикольно, движок форума навязывает мне свой лексикон. Я писал вобщето "Яшa" а не Яндекс
【Мегапак Virtuemart:
 • метатеги (description,keywords)
 • заголовки (title)
 • красивые алиасы (чпу) без тормозов и дублей!
*

mrhuge

  • Захожу иногда
  • 222
  • 7 / 0
  • http://muzalliance.ru/
Цитировать
&virtuemart=shit
 :laugh: :laugh: :laugh: и ведь заходит же по этой ссылке - значит признает
*

danik.html

  • Живу я здесь
  • 2650
  • 353 / 4
не смешно ))
【Мегапак Virtuemart:
 • метатеги (description,keywords)
 • заголовки (title)
 • красивые алиасы (чпу) без тормозов и дублей!
*

mrhuge

  • Захожу иногда
  • 222
  • 7 / 0
  • http://muzalliance.ru/
Цитировать
думаю нужно спрятать все ссылки с шопом, кроме /shop/category/product/

Думаю стоит оставить ссылки на категории отфильтрованные по производителям вида /shop/category/manufacturer/ так как это даёт совпадение в тайтлах с целыми поисковыми запросами - люди часто ищут товары конкретных производителей. Также думаю стоит оставить и shop/category по той же причине.

Ну я сделал, чтобы в тайтл страницы категории, отфильтрованной по производителю, добавлялось название производителя.
« Последнее редактирование: 27.09.2010, 12:34:54 от mrhuge »
*

mrhuge

  • Захожу иногда
  • 222
  • 7 / 0
  • http://muzalliance.ru/
Есть два прикольных сервиса анализатора robots.txt. Они проверяют будет ли индексироваться та или иная страница. Все правила в первом посте проверил через оба анализатора. Всё тип топ.

http://webmaster.yandex.ru/robots.xml
https://www.google.com/webmasters/tools/crawl-access?hl=ru&siteUrl=http://muzalliance.ru/

в гугле надо только сначала зарегить сайт
*

andx

  • Захожу иногда
  • 111
  • 6 / 0
Подскажите, если у меня алиас меню VirtueMart toys, то Disallow: /shop/, в моем случае будет Disallow: /toys/ ? итп по аналогии...
« Последнее редактирование: 23.12.2010, 22:10:49 от andx »
*

mrhuge

  • Захожу иногда
  • 222
  • 7 / 0
  • http://muzalliance.ru/
« Последнее редактирование: 23.12.2010, 22:40:07 от mrhuge »
*

andx

  • Захожу иногда
  • 111
  • 6 / 0
Спасибо! Я взял текст роботса тот, который внизу в "Сюда буду добавлять сам текст изготовляемого robots.txt"
*

mrhuge

  • Захожу иногда
  • 222
  • 7 / 0
  • http://muzalliance.ru/
Я поправил. Теперь бери. Там был жесткий косяк с allow, я намаялся с ним. Google похоже изза него кучу левака проиндексил.
*

andx

  • Захожу иногда
  • 111
  • 6 / 0
Благодарю! Взял все кроме тех строк про forum которые и где component
*

andx

  • Захожу иногда
  • 111
  • 6 / 0
Мда... у кого какие мысли насчет Google? Готовые решения? Я думаю может Google не понимает синтаксис /*?*, ошибку при анализе не выдает?
А у меня мысль насчет Yandex, прочел инструкцию на его сайте, вот цитата:
Цитировать
В самом robots.txt проверяется наличие записей, начинающихся с 'User-agent:', в них ищутся подстроки 'Yandex', либо '*' (регистр значения не имеет), причем, если обнаружено 'User-agent: Yandex', директивы для 'User-agent: *' не учитываются.
Тоесть для яндекса надо задублировать список как для *

UPD 01.01.11:
Блин... проверил в Я.вебмастере индексацию страниц и о ужассс - проиндексировано полно страниц /shop/ask/.... В роботсе ведь прописано их не индексировать, может надо както по-другому прописывать?
« Последнее редактирование: 01.01.2011, 13:33:35 от andx »
*

Nikita Web

  • Захожу иногда
  • 62
  • 1 / 1
люди подскажите пожалуйста, кто сможет...

продвигаю интернет-магазин (joomla+virtuemart+sh404SEF), когда начинал все было тускло...
потом обновил контент и вылез по большому количеству запросов на хорошие позиции по низко-частотникам... в общем процесс пошел...

но через месяц-полтора я обнаружил печальную ситуацию... в поиске осталось всего 5 страниц, причем их позиции в топе остались прежними...
но вот все другие страницы пропали... (кстати они по формату абсолютно такие же как и те, что остались в индексе)... хотя буквально месяц назад они были на хороших позициях

есть подозрение что дело в дублях, но сомнение в том, что почему тогда Yandex оставил 5 страниц в поиске да еще и без всяких санкций на позиции?
(и может кто знает как понимать 4500 страниц загружено роботом, 700 исключено и 5 находятся в выдаче поиска?)

и кстати, сработает ли такая схема, если в robots.txt вставить примерно следующее содержание:

User-agent: *
Allow: /первая нужная страница для выдачи
...
Allow: /какая нибудь 120-ая нужная страницы для выдачи
#а все остальные страницы закрыть нафик
Disallow: /

? :)
*

Nikita Web

  • Захожу иногда
  • 62
  • 1 / 1
то есть вставляем в .htaccess после rewrite base

Цитировать
RewriteRule ^(.*)-[0-9]{1,2}\.html$ http://www.ваш_сайт.ру/$1.html [L,R=301]

Это правило переписывает url страницы товара с окончаниями -1.html, -2.html, -n.html, созданные компонентом Artio JoomSEF, надо как-то доработать это правило для использования случая с роутером.


а кто нибудь уже доработал? )
*

terr

  • Давно я тут
  • 824
  • 14 / 6
  • Ученик html-я
автор а почему у тебя запрещена папка компонентов для индекса, а если там вирт март находится он же его не найдет?

Код
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /includes/
Disallow: /images/
Disallow: /installation/
Disallow: /language/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /chateg/
Disallow: /editor/
Disallow: /help/
Disallow: /kcaptcha/
Disallow: /media/
Disallow: /onlymeadmionlymeadm/
Disallow: /zipimport/
Allow: /components/
Allow: /yandex.php
Allow: /components/com_virtuemart/shop_image/product/
Allow: /components/com_virtuemart/shop_image/product/3
Allow: /images/kartinko/baninhead.swf
Allow: /images/kartinko/menu1.swf
 
User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /includes/
Disallow: /images/
Disallow: /installation/
Disallow: /language/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /chateg/
Disallow: /editor/
Disallow: /help/
Disallow: /kcaptcha/
Disallow: /onlymeadmionlymeadm/
Disallow: /zipimport/
Allow: /components/
Allow: /yandex.php
Allow: /components/com_virtuemart/shop_image/product/
Allow: /components/com_virtuemart/shop_image/product/3
Allow: /images/kartinko/baninhead.swf
Allow: /images/kartinko/menu1.swf
Host: ********.ru

Вот мой вроде пока что работает без косяков и негде не ставят фильтры
« Последнее редактирование: 02.03.2011, 11:18:47 от terr »
*

mrhuge

  • Захожу иногда
  • 222
  • 7 / 0
  • http://muzalliance.ru/
автор а почему у тебя запрещена папка компонентов для индекса, а если там вирт март находится он же его не найдет?

Код
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /includes/
Disallow: /images/
Disallow: /installation/
Disallow: /language/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /chateg/
Disallow: /editor/
Disallow: /help/
Disallow: /kcaptcha/
Disallow: /media/
Disallow: /onlymeadmionlymeadm/
Disallow: /zipimport/
Allow: /components/
Allow: /yandex.php
Allow: /components/com_virtuemart/shop_image/product/
Allow: /components/com_virtuemart/shop_image/product/3
Allow: /images/kartinko/baninhead.swf
Allow: /images/kartinko/menu1.swf
 
User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /includes/
Disallow: /images/
Disallow: /installation/
Disallow: /language/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /chateg/
Disallow: /editor/
Disallow: /help/
Disallow: /kcaptcha/
Disallow: /onlymeadmionlymeadm/
Disallow: /zipimport/
Allow: /components/
Allow: /yandex.php
Allow: /components/com_virtuemart/shop_image/product/
Allow: /components/com_virtuemart/shop_image/product/3
Allow: /images/kartinko/baninhead.swf
Allow: /images/kartinko/menu1.swf
Host: ********.ru

Вот мой вроде пока что работает без косяков и негде не ставят фильтры

у меня вирт доступен через алиас shop
*

dron

  • Завсегдатай
  • 1580
  • 16 / 10
вот у меня в магазине более 2-х тысяч товаров. что же, нужно для каждого товара дубли страниц закрывать?
*

slava088

  • Захожу иногда
  • 79
  • 1 / 0
на сайте установлен плагин Xmap. В роботсе к нему открыт доступ
Allow: /index.php?option=com_xmap&sitemap=1&view=xml
Дополнительно есть сгенерированная карта в корне сайта в роботсе указано
Sitemap: ****.ru/sitemap.xml
Не будет ли это ошибкой?
И что может случиться, дело в том что директива Host не была прописана в роботсе, теперь решил прописать, однако Yandex присвоил моему доменному имени www, если сечас я пропишу директиву
host: site.ru  не выпадут ли у меня из индекса страницы с www так как они там все так прописаны.
Порекомендуйте пожалуйста...спасибо.
« Последнее редактирование: 19.05.2011, 20:44:22 от slava088 »
*

praktik_man

  • Осваиваюсь на форуме
  • 41
  • 3 / 0
Смотрите, у меня  VirtueMart 1.1.4 и товар выводится на главную модулем - mod_VirtueMart_universal 1.2.3
В итоге получил 2 ссылки на один и тот же товар:
http://fire-work.com.ua/component/virtuemart/details/1/1/salyut/
http://fire-work.com.ua/fireworks/salyut/details/1/1/salyut/  (мод)

+ если его разместит в еще одну категорию это будет + 1 ссылка..

в итоге 3 ссылки на один и тот же товар.

Что с этим делать?
*

igor33

  • Захожу иногда
  • 153
  • 1 / 0
А как закрыть ссылки которые дублируются компонентом "коменнты" ?
Обычная ссылка:
http://site.ru/index.php?option=com_content&view=article&id=4916:NULL&catid=5:2011-02-22-13-11-49&Itemid=9
ссылка если нажать "оставить комментарий":
http://site.ru/index.php?option=com_content&view=article&id=4916:NULL&catid=5:2011-02-22-13-11-49&Itemid=9#addcomments
Они похожи только конец ссылки другой пробовал в robots.txt  ставить  Disallow: /addcomments/  всеравно разрешает как правильно закрыть?
*

igor33

  • Захожу иногда
  • 153
  • 1 / 0
*

Pa_vell

  • Осваиваюсь на форуме
  • 10
  • 0 / 0
Здравствуйте, господа. Не могу разобраться с проблемой, может подскажете. Дело в том, что при загрузке любой страницы сайта выдается сообщение следующего содеражания:
"Включена защита от санкции со стороны поисковых систем, но закрытые страницы в robots.txt не соответствуют ссылкам роутера. Пройдите в административную часть сайта и исправьте это положение."
 Не пойму как эту проблему решить. Подскажите, что нужно править - robots.txt или роутер? и главноре как. Заранее благодарен.
 зы Прошу извинить, если не в той  ветке, просто более подходящей темы не нашел. Спасибо.
*

Antosha

  • Захожу иногда
  • 420
  • 52 / 0
  • Плохо спорить плохо
почему бы не попробовать:

/index.php?*
<a href="http://joomlablog.ru/">JoomlaBlog</a>
*

WEST100

  • Осваиваюсь на форуме
  • 20
  • 0 / 0
Послушал я Тут Всех и пришел к выводу, что етот робот лучшее что могут предложить?

Спойлер
[свернуть]
« Последнее редактирование: 02.12.2011, 18:19:01 от WEST100 »
*

ELLE

  • Глобальный модератор
  • 4510
  • 893 / 0
ой, не нана мой роботс копировать :) он у меня особенный))
уберите пожалуйста под спойлер (такой плюсик при редактировании сообщений)

и Allow: /components лучше убрать
*

WEST100

  • Осваиваюсь на форуме
  • 20
  • 0 / 0
ой, не нана мой роботс копировать :) он у меня особенный))
уберите пожалуйста под спойлер (такой плюсик при редактировании сообщений)

и Allow: /components лучше убрать

Cкажи ELLE в таком роботе страницы товаров индексируются? я так понял что нет! А смысл каков? Наоборот ето же хорошо! Так ведь?
« Последнее редактирование: 02.12.2011, 18:24:52 от WEST100 »
*

ELLE

  • Глобальный модератор
  • 4510
  • 893 / 0
всё индексируется, при условии что урлы ЧПУ (ну например sh404 стоит). если SEF не стоит, то практически все закроет от индексации.
вот окончательный вариант (на данный момент)
Спойлер
[свернуть]
*

WEST100

  • Осваиваюсь на форуме
  • 20
  • 0 / 0
всё индексируется, при условии что урлы ЧПУ (ну например sh404 стоит). если SEF не стоит, то практически все закроет от индексации.
вот окончательный вариант (на данный момент)
Спойлер
[свернуть]

Фак! У меня чпу нет!
вот  - youroom.com.ua

я могу влепить такой как у тебя роботс?
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться
 

Каким плагином можно закрыть внешние ссылки?

Автор gorbi_U

Ответов: 4
Просмотров: 1113
Последний ответ 25.02.2023, 02:29:35
от olegon
Странные дубли

Автор Lemonez

Ответов: 3
Просмотров: 1602
Последний ответ 03.09.2022, 23:02:10
от Alexeyman
Роботу Googlebot заблокирован доступ в файле robots.txt

Автор illimited

Ответов: 3
Просмотров: 1707
Последний ответ 29.05.2022, 14:57:55
от web1
Как сделать правильный редирект

Автор gadjet

Ответов: 25
Просмотров: 12368
Последний ответ 17.05.2022, 01:22:12
от kabban
Закрыть страницу со знаком? от индексации

Автор Андрей Нестеров

Ответов: 2
Просмотров: 737
Последний ответ 28.02.2022, 22:38:44
от Андрей Нестеров