0 Пользователей и 1 Гость просматривают эту тему.
  • 8 Ответов
  • 2905 Просмотров
*

Sphinx

  • Захожу иногда
  • 72
  • 0 / 0
День добрый, появилась огромная проблема!
Раньше был стандартный robots.txt, было огромное количество проиндексированных страниц с огромным количеством дублей. Решил избавиться от дублей. Сделал одинаковые ссылки по всему сайту. ЧПУ выключено. Сделал файл сайтмапа. Чуть допилил robots.txt:
Код
# If the Joomla site is installed within a folder such as at
# e.g. www.example.com/joomla/ the robots.txt file MUST be
# moved to the site root at e.g. www.example.com/robots.txt
# AND the Joomla folder name MUST be prefixed to the disallowed
# path, e.g. the Disallow rule for the /administrator/ folder
# MUST be changed to read Disallow: /joomla/administrator/
#
# For more information about the robots.txt standard, see:
# http://www.robotstxt.org/orig.html
#
# For syntax checking, see:
# http://www.sxw.org.uk/computing/robots/check.html

User-agent: *
Host: ozuris.ru
Allow:/price/sitemap.xml$
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /price/
Disallow: /repeating_functions/
Disallow: /templates/
Disallow: /tmp/
Disallow: /test/
Disallow: /*&Itemid=217 #Запрещаем к индексации все страницы, где на конце есть Itemid=217
Disallow: /index.php?option=com_users&view=registration # Запрещаем к индексации регистрацию пользователей
Disallow: /index.php?option=com_jshopping&controller=user&task=register #Запрещаем к индексации регистрацию пользователей
Disallow: /index.php?option=com_users&view=reset #Запрещаем к индексации восстановление пароля
Disallow: /index.php?option=com_users&view=remind #Запрещаем к индексации восстановление пароля
Disallow: /index.php?option=com_jshopping&controller=cart* #Закрываем к индексации корзину товара основного каталога
Disallow: /index.php?option=com_jshopping&controller=search* #Закрываем к индексации поиск по товарам
Clean-param: manufacturer_id&label_id&vendor_id&page&Itemid /index.php #сводим страницы к единому виду
Теперь ссылки на категории и карточки товаров выглядят супер. Дублей нет. Но, количество ссылок в сайтмапе более 2 тыс. штук, а реально проиндексированных менее 200. Максимум доходило до 400, но через пару дней опять падало до 150-200 страниц. Подскажите в чем может быть проблема? Правильно ли сделан robots.txt?
*

andrea2509

  • Захожу иногда
  • 108
  • 5 / 0
Попробуйте вот такой robots:

Код
User-agent: *

Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Allow: /images/
Allow: /foto/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /*user
Disallow: /component
Disallow: /*product
Disallow: /*category
Disallow: /*cart
Disallow: /*search
Disallow: /*wishlist
Disallow: /*?tmpl



User-Agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Allow: /images/
Allow: /foto/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /*user
Disallow: /component
Disallow: /*product
Disallow: /*category
Disallow: /*cart
Disallow: /*search
Disallow: /*wishlist
Disallow: /*?tmpl


Sitemap: http://site.ru/sitemap.xml
Host: site.ru

Он оптимален для JoomShopping
И сделайте SEF страницы


*

Sulpher

  • Живу я здесь
  • 2058
  • 393 / 15
  • Шаблоны и расширения Joomla
*

Sphinx

  • Захожу иногда
  • 72
  • 0 / 0
Попробуйте вот такой robots:

Код
User-agent: *

Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Allow: /images/
Allow: /foto/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /*user
Disallow: /component
Disallow: /*product
Disallow: /*category
Disallow: /*cart
Disallow: /*search
Disallow: /*wishlist
Disallow: /*?tmpl



User-Agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Allow: /images/
Allow: /foto/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /*user
Disallow: /component
Disallow: /*product
Disallow: /*category
Disallow: /*cart
Disallow: /*search
Disallow: /*wishlist
Disallow: /*?tmpl


Sitemap: http://site.ru/sitemap.xml
Host: site.ru

Он оптимален для JoomShopping
И сделайте SEF страницы
Ну это Вы просто выдернули текст файла из другой ветки. Если Вы заметили, то у меня с небольшими дополнениями:
Код
Disallow: /index.php?option=com_users&view=registration # Запрещаем к индексации регистрацию пользователей
Disallow: /index.php?option=com_jshopping&controller=user&task=register #Запрещаем к индексации регистрацию пользователей
Disallow: /index.php?option=com_users&view=reset #Запрещаем к индексации восстановление пароля
Disallow: /index.php?option=com_users&view=remind #Запрещаем к индексации восстановление пароля
Disallow: /index.php?option=com_jshopping&controller=cart* #Закрываем к индексации корзину товара основного каталога
Disallow: /index.php?option=com_jshopping&controller=search* #Закрываем к индексации поиск по товарам
Clean-param: manufacturer_id&label_id&vendor_id&page&Itemid /index.php #сводим страницы к единому виду
Основное, конечно, в Вашем варианте закрыто, но мне важен Clean-param.
Файл сайтмапа в Яндексе указан, сайт переадресует постоянно на главное зеркало. Проверяю ссылки из файла сайтмапа, все они должны нормально проходить индексацию.

SEF - это ЧПУ? Не считаю нужным переходить на эти ссылки. У меня ссылки по сайту сделаны правильно и нет дубляжей, а на ЧПУ, так тут что не тема, так про корявые ссылки с этим чпу. Хотя может для яндекса лучше ЧПУ? Может кто подсказать? Или ему пофигу как выглядят ссылки на страницы?

Еще попробуйте плагин canonical links: http://www.webdesigner-profi.de/joomla-webdesign/joomla-shop/downloads/plugins.html
Product canonical (JoomShopping 3.0.0 or higher)
Что-то я не понял, что это за плагин. По-подробнее можно?
*

nevigen

  • Moderator
  • 10282
  • 855 / 25
  • http://n*****n.com
вот как бы в SEO перенести ?

ну вообще ЖШ вопрос не касаетсо....
забавно как только раздел живой...
все сюда бегут...
ну вы же не идете к терапевту когда болят зубы ? правда ?
ну почему тут другой подход ?
Профессиональные / Бесплатные решения для JoomShopping
Не лечи бесплатно, ибо тот, кто лечится бесплатно, рано или поздно перестает ценить свое здоровье,
а тот, кто лечит бесплатно, рано или поздно перестает ценить результаты своего труда/ (с) Гиппократ?
Не ищите ответов, ищите решение !
*

voland

  • Легенда
  • 11016
  • 585 / 112
  • Эта строка съедает место на вашем мониторе
Не надо в общий раздел.
Чтоб дать совет надо знать типичную структуру сайта на JoomShopping, так что вопрос ИМХО в нужном разделе.
*

nevigen

  • Moderator
  • 10282
  • 855 / 25
  • http://n*****n.com
а да сорри, не заметил особенностей имено по ЖШ...
прызнаю.. зря написАл. :)
вопрос в контексте ЖШ
Профессиональные / Бесплатные решения для JoomShopping
Не лечи бесплатно, ибо тот, кто лечится бесплатно, рано или поздно перестает ценить свое здоровье,
а тот, кто лечит бесплатно, рано или поздно перестает ценить результаты своего труда/ (с) Гиппократ?
Не ищите ответов, ищите решение !
*

ELLE

  • Глобальный модератор
  • 4513
  • 891 / 0
SEF - это ЧПУ? Не считаю нужным переходить на эти ссылки.


Каждая страница должна иметь уникальный адрес (URL). Желательно, чтобы вид URL давал представление о том, что содержится на соответствующей странице. Использование транслитерации в адресах страниц также позволит роботу понять, о чем может быть страница. Например, один только URL http://download.yandex.ru/company/experience/Baitin_Korrekciya%20gramotnosti.pdf дает поисковому роботу множество информации о документе: его можно скачать; формат, скорее всего, PDF; документ, вероятно, релевантен запросу «коррекция грамотности» и так далее.
http://help.yandex.ru/webmaster/?id=1108946

Собственно SEF надо было включать сразу.
« Последнее редактирование: 18.02.2013, 15:17:33 от ELLE »
*

PhoenixRime

  • Осваиваюсь на форуме
  • 28
  • 0 / 0
Да фиг с ними с url и роботсами... Это конечно важно для SEO но не критерий попадания в индекс. Если у Вас уникальное объемное описание товара и фотографии - товар будет в индексе. А если просто картинка и пару слов - Яндекс выкинет сразу. Все страницы в кеше держит только Google, Яндекс все постоянно жестко фильтрует. Поэтому в принципе если в магазине каждой страницей никто не занимается - в индексе они не будут. Но это и не важно если это ювелирка или шмотки небрендовые. А если каждая страница - товар который ищут, то и сидеть над каждый нужно немало.
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться
 

Яндекс удаляет ссылку с нормальным ЧПУ оставляет только /product/view

Автор Vital2108

Ответов: 14
Просмотров: 1132
Последний ответ 09.11.2017, 21:20:44
от effrit
[Решено] Яндекс.Острова для JoomShopping

Автор pepeto

Ответов: 32
Просмотров: 7392
Последний ответ 19.11.2014, 13:37:45
от yunoshev
Яндекс острова. Давайте разберемся

Автор pepeto

Ответов: 13
Просмотров: 1893
Последний ответ 15.12.2013, 22:36:41
от yunoshev