noindex для корзины и поиска - SEO

Вечер добрый SEOники! )) Пару месяцев назад обновил свой сайт - несколько категорий убрал, и добавил 800 товаров. С тех пор устал ждать индексации сайта яндексом. Заметил что товары с ошибкой 404 удаляются из индекса очень медленно, удалил вручную. Только Яндекс все равно не торопится. Зашел в вебмастер и заметил что Яндекс прибавляет ссылки в каталоги cart/ и search/. Вот скрин. В индекс они не попадают, но на на кой тратить драгоценное время на ссылки которых никто не увидит?? Как их скрыть от ПС полностью? Или я с robots.txt накосячил? Disallow прописан:
Добавил еще но не уверен что поможет.
Нет ли в вашей волшебной кузнице решения для этой беды? Может проблему решит тег <noindex> в системной ссылке на корзину и поиск? Только как это сделать правильно? Буду рад любым подсказкам.

Вижу никто данным вопросом не задавался. А очень зря, потому что без доработки JoomShopping индексируется в 3 раза дольше!
И происходит это потому, что у каждой ссылки есть дубль по адресу /cart/ (корзина) и /component/ (системная ссылка без ЧПУ).
Я прописал в robots.txt запрет на их индексацию, в поиск они не попадают. Но индексируются все равно!
И самый главный факт - пока по каждому URL адресу (cart, component и ЧПУ адрес) ссылка не проиндексируется - в поиск он не попадет!!
В течении нескольких месяцев я наблюдал данное явление через инструменты Яндекс Вебмастера.
Отсюда вопрос к разработчикам:
Как закрыть эти 2 дыры в роутере вашего движка? Как минимум корзина здесь фигурировать вообще не должна - она вообще пустая, а Яндекс там что-то нашел!
Вот скриншот, на котором видно что из 2960 страниц в индекс попали только 1051, а Яндекс обработал уже 8115 страницу!

это у вас нашел....
возможно...
скорее всего у вас корзина - пункт меню...
вот тудой и могла пройти дефлорация
component - возникает только если не всем товарам и категориям назначены алиасы

Вижу никто данным вопросом не задавался.

сказать почему, или сами уже догадались? видимо потому что кроме как у вас, этой проблемы больше ни у кого нет.

как закрыть эти 2 дыры в роутере вашего движка?

вопрос в том, что дыр в роутере нет. такие ссылки есть исключительно у тех, кто их делает сам. никаких дублей аля /cart/... по-умолчанию нет. так что то, что вы корзину закрыли в роботс - это пол дела, и безусловно важно. но гораздо более важно вам найти откуда у вас такие ссылки в принципе берутся. и искоренить причину, а не следствие.

скорее всего у вас корзина - пункт меню...
вот тудой и могла пройти дефлорация

Проверял. Так было раньше, путь корзины появлялся как /корзина. Позже убрал - появился раздел /cart.

component - возникает только если не всем товарам и категориям назначены алиасы

Алиасы заданы ВСЕ. Задавал через ваш XLS Comiel импорт.

сказать почему, или сами уже догадались? видимо потому что кроме как у вас, этой проблемы больше ни у кого нет.

Хорошо если так. Только проблема эта не такая явная - сайт индексируется, просто медленнее. Я скачал и установил последнюю версию JoomShopping на другом сайте и вижу такую же картину. Плагинов по минимуму, вот скрин.
Прошу вас посмотреть как Яндекс Вебмастер видит ваши сайты в разделе "Индексирование сайта/Структура сайта" перед тем как начну крошить свой мозг.

вебмастер ?
у нас в вебмастере висит до сих пор razrabotki хотя их уже 3 года нет.

если вы уже что то скормили ПСке.. она потом вяло это выбрасывает.

если вы уже что то скормили ПСке.. она потом вяло это выбрасывает.

Ага, это точно. ПС-ки - они такие... Где хочешь, говорит, найду и горло перережу

Прошу ответить на мой вопрос и не уходить от темы. Отпишитесь если кто пользуется сервисом Яндекс Вебмастер. Мне не нужно ничего выбрасывать, в поиске этих страниц нет (я приложил скриншоты), мне интересно такая беда только у меня или это нормально. Такая особенность замечена именно в вебмастере Яндекса.

я просто не могу понять в чем проблема? ну видит Яндекс эти ссылки, и что? в индексе их нет, вы из заблокировали в роботс и правильно сделали. но ссылки то на сайте никуда не делись от этого. Яндекс их и регистрирует. то, что cart/add - это добавить в корзину ссылка. то что component/search - поиск на сайте. какое отношение они к товарам у вас имеют, я не знаю. как у вас получается что

у каждой ссылки есть дубль по адресу /cart/ (корзина) и /component/

я тоже не знаю. и по скринам я в принципе и не увидел этих дублей. так что я пока проблемы в принципе не увидел.

Речь не о дублях в данном случае. речь о том что индексация происходит в 3 раза медленнее чем должна. В моем случае это 6 месяцев вместо двух. И я потерял не только время, но и нескольких заказчиков из-за этого.
Повторю еще раз: пока все три этих пути не проиндексируются - страницы в поиске не появятся!
Важный факт: количество страниц в поиске равно количеству страниц в самом менее проиндексированном разделе. И это очень печально. Так как Яндекс такой сайт посещает с неохотой. Блин вы что свои проекты вообще не раскручивали?

речь о том что индексация происходит в 3 раза медленнее чем должна. В моем случае это 6 месяцев вместо двух.

могу только улыбнуться это вы откуда такую цифру взяли - 2 месяца? почему не 2 недели, или не 2 дня?

пока все три этих пути не проиндексируются - страницы в поиске не появятся

связи я не вижу. если это и так - то это только у вас. по неизвестным мне причинам. хотя как это может быть так, если у вас ни корзина, ни компонент в принципе не попали в индекс. имхо - вы повторяете подвиг пионера - сами себе ищите проблему, потом ее мужественно преодолеваете. но это имхо.

по крайней мере причина в ином, если даже Вы каким то образом смоделировали такую ситуацию.
ну и искать ее надо тоже не в ЖШ
пункты меню, роутеры или СЕФеры сторонние и т.д.

Прошу ответить на мой вопрос и не уходить от темы. Отпишитесь если кто пользуется сервисом Яндекс Вебмастер

Я прошу вас просто посмотреть в эту панель и сравнить с моим показателем. Все остальное можете считать добровольным актом мазохизма.
Такую картину я наблюдаю уже не в первый раз.
На последнем скриншоте видно, что в разделе лекарства/ загружено 2158 Страниц, а в индексе - 257.
В разделе component/ загружено (именно загружено, а не добавлено в индекс, ведь независимо от robots.txt страницы все равно загружаются) 269 страниц. Возможно что это первые 257 страниц плюс страницы без категорий? Самое интересное - пока эта цифра не сдвинется с места - не двигается с места и количество страниц в индексе, несмотря на то что страницы давно загружены и было несколько апдейтов поисковой базы.

По поводу component/ уже пояснили
Скажу по поводу cart/add - у вас скорее всего в категории кнопка КУПИТЬ ссылкой! Что не рекомендуется делать)

Красным писать запрещено!

Возможно что это первые 257 страниц плюс страницы без категорий?

вы не хотите читать, что вам пишут? или просто игнорируете прочитанное? какие 257 страницы + страницы без категории? еще раз: cart/add и component/search не имеют никакого отношения к страницам товаров! это не дубли! это просто другие страницы. как у вас связано их индексирование с индексированием товаров - понятия не имею. напишите в службу поддержки яндекса.

Можете показать мне как Яндекс видит структуру какого - нибудь вашего сайта?

та легко

Вместо тысячи слов. Сейчас запущу тестовый сайт, отпишусь после индексации.

На некоторые посты не отвечал чтобы не разводить демагогию, т.к. даже чтобы получить скрин

Спойлер

[свернуть]

пришлось попросить несколько раз.
Итак, из скриншота dmitry_stas видно, что его сайт выглядит в Яндексе аналогично, значит эта проблема не только у меня.
Пока идет индексация тестового сайта хотелось чтобы кто-то более опытный рассмотрел данную проблему, которая заключается в "пробуксовке" индексации.

Поясню:
Как вы, надеюсь, знаете, количество страниц, которые робот яндекса загружает за раз, ограничено (колонка "загружено страниц").
После каждого обновления поисковой базы я проверял эти разделы (/cart, /component, мои разделы) и замечал прибавление загруженных страниц в одном из этих разделов. Сначала я тоже подумал что все нормально - ведь в индексе (поиске) их нет. Но понаблюдав за появлением страниц в поиске скажу вам одно - Яндекс обрабатывает пути /cart и /component наравне с остальными, он не пропускает их, а обрабатывает данные, которые оттуда получает, а в индекс добавляет только когда доходит до моих разделов. И делает это очень медленно, так как вместо одного пути он хаотично обрабатывает ТРИ с аналогичным содержимым.
Свои предположения при каких условиях страница попадает в индекс я описал ранее, видимо преждевременно.

по крайней мере причина в ином, если даже Вы каким то образом смоделировали такую ситуацию.
ну и искать ее надо тоже не в ЖШ
пункты меню, роутеры или СЕФеры сторонние и т.д.

Ситуация эта возникла только с JoomShopping, есть сайты на Joomla, которые спокойно индексируются (и там нет лишних категорий в структуре, даже поиска), более того, даже на сайтах c JoomShopping материалы Joomla индексируются в разы быстрее после следующего же апдейта поисковой базы. Ничего стороннего НЕТ.

Народ, вам трудно зайти в панель Яндекса и убедиться в этом? Хотя вероятнее всего вы этими инструментами не пользуетесь, иначе давно бы сами это заметили.

А как вам такой скриншот - http://prntscr.com/59o2rz
Это Joomshopping) Еще раз - дело исключительно в вашей структуре и настройках!

Еще вот такой пример - http://prntscr.com/59o437
видите там /cart/add ? Это потому что в категории включена кнопка-ссылка КУПИТЬ

Примера с /component у меня к сожалению нет, но я знаю как легко можно сделать чтоб и это появилось

Рад если так. Только я в замешательстве:
1.

видите там /cart/add ? Это потому что в категории включена кнопка-ссылка КУПИТЬ

В карточке товара эта кнопка-ссылка тоже есть, в чем разница? Есть способ оставить кнопку купить в списке товаров?
2.

component - возникает только если не всем товарам и категориям назначены алиасы

Таковых не нашел. Вы с этим согласны или могут быть другие причины?

В карточке товара эта кнопка-ссылка тоже есть, в чем разница? Есть способ оставить кнопку купить в списке товаров?

Не путайте и посмотрите внимательно - в карточке бутон, на который навешено событие jQuery, ссылки там нет

2.Таковых не нашел. Вы с этим согласны или могут быть другие причины?

Я согласна с этим. Возможно, что такие ссылки у вас были в период наполнения сайта, потом вы исправили, а в Вебмастере они застряли. Прогоните сайт через Xenu, точно ли нет нигде ссылок на такие адреса (в вебмастере тоже должны быть показаны ссылающиеся страницы). Как правило застревают они надолго как раз потому что где-то есть ссылка на них

А вот и другая причина:


убирайте, все ноги у вас отсюда растут

Спасибо, слона перед носом не увидел. Пишите номер карточки в личку или номер в ЯДеньгах, хочу переслать вам небольшой бонус.
Убрать /component/search оказалось просто: расширения - менеджер модулей - выбор типа - поиск, во всех опубликованных модулях (у меня их было 2) нужно отключить OpenSearch - автопоиск.
С /cart/add пока не разобрался, т.к. в JQuery мало что понимаю. Вставка не работает - видимо не хватает скриптов вначале. Не подскажете как сделать кнопку купить на jQuery в списке товаров как и в карточке товара?

могу только улыбнуться это вы откуда такую цифру взяли - 2 месяца? почему не 2 недели, или не 2 дня?

связи я не вижу. если это и так - то это только у вас. по неизвестным мне причинам. хотя как это может быть так, если у вас ни корзина, ни компонент в принципе не попали в индекс. имхо - вы повторяете подвиг пионера - сами себе ищите проблему, потом ее мужественно преодолеваете. но это имхо.

Вместо одного пути обрабатываются 3. Делим прошедшее время 5.5 месяцев на 3 = 1.8 месяца.
Короткая у вас память. Вы же уже обсуждали это на форуме. И согласились с Elle. А теперь можете только улыбнуться )) И продолжаете настраивать сайты на выдачу однотипных страниц. Вот эта тема: http://joomlaforum.ru/index.php/topic,242656.0.html

у вас монолог? причем тут моя память и та тема вообще? я что, где то в этой теме написал, что ссылка купить лучше кнопки? и какие однотипные страницы? сколько вам раз надо повторить, что это абсолютно разные страницы? а улыбаюсь я, заметьте, не с попыток убрать ссылку, а с вашего вывода, что индексация должна была быть в 3 раза быстрее. ну в общем...  решили - делайте. кто-то мешает?

по крайней мере причина в ином, если даже Вы каким то образом смоделировали такую ситуацию.
ну и искать ее надо тоже не в ЖШ
пункты меню, роутеры или СЕФеры сторонние и т.д.

Стоит ваш бесплатный шаблон (от Nevigen) на DIV. Как подметила Elle, 2-я причина в ссылке на корзину. Причем в карточке товара она на jQuery, а в списке товаров - обычная. И это очень негативно сказывается на индексации сайта. Не собираетесь ли вы обновлять ваш шаблон?

не отсебятнечайте пожалуйста ELLE ничего такого не подмечала, что виноват шаблон на дивах шаблон на дивах повторяет особенности базового шаблона. изменений не будет. связано это с тем, что много сторонних расширений в своей логике берут за основу ссылку в списке товаров, а не кнопку.

у вас монолог? причем тут моя память и та тема вообще? я что, где то в этой теме написал, что ссылка купить лучше кнопки? и какие однотипные страницы? сколько вам раз надо повторить, что это абсолютно разные страницы? а улыбаюсь я, заметьте, не с попыток убрать ссылку, а с вашего вывода, что индексация должна была быть в 3 раза быстрее. ну в общем...  решили - делайте. кто-то мешает?

Меня удивило то, что зная об этой проблеме вы писали что все нормально и проблемы не видите.

По поводу component/ уже пояснили
Скажу по поводу cart/add - у вас скорее всего в категории кнопка КУПИТЬ ссылкой! Что не рекомендуется делать)

о святые угодники... так может быть это потому, что я до сих пор не вижу проблемы со скоростью индексации? и потому, что я не замечал особой разницы в скорости индексации независимо от наличия Купить в категории?