Настройки .htaccess и robots.txt для JoomShopping - страница 2 - SEO

У меня немного другая ситуация.
Сперва настроил сам сайт без SUF, Перенаправления URL, Суфиксов и Юникода
После активации этих опций я конечно прописал Алиасы к товарам, группа и подгруппам.
Старые данные стали не актуальны, а новые Робот яндекса не принимает уже больше 2-х недель.
Проверки URL проходят нормально и сам файл роботс отлажен.

Как бы поторопить робота, на прохождения индексации сайта и добавления страниц, хотя бы каких-либо...
Ато кроме главной - ни чего нет в поиске.

В это же время, Google отлично обработал новые данные и уже часть которую я разрешил в robots.txt попадает в поиск как надо.

нуу ПС не заставить...
она сама решает что тянуть что нет...
Яндекс тупит реально в этом плане
Гугла быстрее в этом смысле... но и выбрасывает потом тоже быстро если не актуально по ее мнению

Не переживайте, постепенно Яндекс начнет кушать сайт. У меня тоже подобная ситуация была, 283 урла Яндекс месяца два кушал, и не постепенно, а рывками, притом что Google все за неделю освоил.

Глянь, может это поможет ускорить индексацию сайта, как я вкратце прочёл новая разработка для отслеживания изменений в сайте и ускорения индексации этих изменений.
http://help.yandex.ru/site/?id=1125183
Если класная тема, то напиши пожалуйста свой отзыв.

попробовал, уткнулся в поиск "раздел настроек Индексирование" на странице http://site.yandex.ru/searches/, кто нашел - отпишитесь

создайте поиск. Перейдите в него и там есть раздел "Индексирование". под большим полем, где просят ввести URL есть маленькое, где надо ввести IP. Удачи.

Глянь, может это поможет ускорить индексацию сайта, как я вкратце прочёл новая разработка для отслеживания изменений в сайте и ускорения индексации этих изменений.
http://help.yandex.ru/site/?id=1125183
Если класная тема, то напиши пожалуйста свой отзыв.

класная штука. установил, проверил

Форумчане, помогите с настройкой роботс.txt.
Необходимо чтобы товары в корневой дирректории ДШ были закрыты от индексации, а подкатегории и товары в них открыты.
(Делаю это чтобы скрыть косячные дубли урлов)

Исправьте косячные дубли. Зачем править роботс?

Что значит исправьте. Пока решения по исправлению так и никто не нашел, все разводят руками.

Напиши какие сейчас ссылки и какие должны стать

Сейчас ссылки "нормальные" (3 реальных примера товаров):
http://domovenok74.ru/katalog/yaponskiepodguzniki/goon-m-5.html
http://domovenok74.ru/katalog/yaponskiepodguzniki/goon-s-4.html
http://domovenok74.ru/katalog/yaponskiepodguzniki/goon-l-6.html
эти же самые товары доступны по другим "кривым" ссылкам
http://domovenok74.ru/katalog/goon-m-5.html
http://domovenok74.ru/katalog/goon-s-4.html
http://domovenok74.ru/katalog/goon-l-6.html
Как видно "кривые" ссылки отличаются от "нормальных" тем, что у них ссылка как будто они находятся в корневой категории-katalog (но визуально их там нет и не надо), но набрав "кривую" ссылку в строке браузера получаешь "кривую" страницу с ошибками вида:

Пользователь сайта конечно никогда данную страницу не увидит, так как на "кривую" ссылку нет ссылок с сайта (ни в карте сайте, нигде), НО "кривую" ссылку видят роботы ПСок (не знаю каким образом) и индексируют её, ну и также индексируют "нормальную" ссылку этого товара. И далее они видят, что якобы (к примеру) ссылка http://domovenok74.ru/katalog/yaponskiepodguzniki/goon-m-5.html и http://domovenok74.ru/katalog/goon-m-5.html это один и тот же товар, и приоритет отдают короткой "кривой" ссылке (в выдаче ПСок в топе отображается "кривая" ссылка).
Как сказал один из форумчан, что косяк где то в виджеките  шаблона YooTheme и самостоятельно эту проблему я не исправлю.
Поэтому необходимо придумать правило в роботс.тхт которое не давало бы индексировать "косячные" товары в корневой директории katalog, но разрешало бы индексировать подкаталоги и товары находящиеся в них.

есть мнение что через роботс у вас не получится это реализовать
попробуйте сделать такой error.php - http://joomlaforum.ru/index.php/topic,214147.msg1185581.html#msg1185581 или смотрите постом выше вариант

и отпишитесь о результатах

попробывал изменить код, как предложил Linfuby. Теперь "кривые" ссылки преобразовались в 404. Действительно локальная проблема у Warp от YooTheme. Теперь буду ждать когда ПСки выплюнут "кривые" ссылки. Кстати в панели вебмастера Google есть функция удаления ненужных страниц вручную, в Яндексе этого не видел.
Большое спс ELLE за наводку, ну и Linfuby за решение.

чтобы картинки индексировались необходимо прописать
Allow: /components/com_jshopping/files/img_categories/  # разрешаем индексировать картинки категорий
Allow: /components/com_jshopping/files/img_products/     # разрешаем индексировать фото товаров

Такой вопрос: бывает, что к товару идёт одно основное изображение и штук десять дополнительных - картинки должны иметь разные названия?

они и так имеют разные названия

Я не про имена файлов, а про те названия, которые предлагается ввести в админке JS при редактировании товара. Если товар называется, допустим, "Грузовик с краном Daewoo", то все его фотографии я обзываю аналогично. Это нормально для поисковика, что их на странице будет ндцать штук одноимённых?

Maxum, разнообразить необходимо. Лучше всего называть именно так, что изображено на картинке - может принести дополнительный траффик из поиска по картинкам.

...Лучше всего называть именно так, что изображено на картинке - может принести дополнительный траффик из поиска по картинкам.

Спасибо, мне вот тоже так подумалось. Только у меня картинки не всегда отличаются особым разнообразием. Нормально ли будет делать "двойное название", включая в него название самого товара, типа "Грузовик Daewoo: вид слева", "Грузовик Daewoo: вид справа", "Грузовик Daewoo: коробка передач"?

вид слева, вид справа....не очень - сами подумайте часто ли так ищут люди? в принципе для уникализации сойдет
может лучше цвета указывать?

не очень - сами подумайте часто ли так ищут люди? в принципе для уникализации сойдет
может лучше цвета указывать?

Ищут-то нечасто, ищут именно по названию техники. Мне в данном случае больше интересует не столько то, как увеличить поисковую отдачу, а как её не уменьшить из-за того, например, что поисковик может "обидеться" на одинаковые имена картинок.
Цвета не пойдут - на деле очень редко бывает, что у владельца есть 4-5 цветов дорогущего самосвала на выбор . А названия картинок будут видеть посетитель при их просмотре, не хотелось бы вводить их в заблуждение.

А подскажите немного теории. Например

Что это означает? Что папка component и всё вложенное в неё запрещена? И папка product и всё вложенное в неё тоже запрещена? А зачем же их запрещать, там же материалы и товары лежат? (понимаю, что говорю ерунду, но хочется знать, в чём именно заключается глупость, чтобы не просто скопировать предложенный robots.txt, а немного разобраться, что к чему).

И можно ещё про символ *, а то  Яндекса не очень понятно про него.

Аllow: /images/
яндекс пишет - обнаружена не известная директива

скорее всего А в директиве - русская
вместо Аllow, укажите Allow
(это только на первый взгляд - одинаково )

 
Sitemap: /index.php?option=com_xmap&view=xml&tmpl=component&id=1
Яндекс начал писать, некорректная директива или неверная!

правильно он все пишет, фак по robots.txtв подписи

как избавиться от ссылок такого типа:
/products.html?category_id=40&manufacturer_id=25&start=840

при переходе на которую выскакивает ошибка 500 Макет products не найден
Яндекс ругается о них - От сервера получен код ошибки 500 Internal Server Error. Сервер столкнулся с непредвиденным условием, которое не позволяет ему выполнить запрос.

а их около 20 штук

Что делать?

например, закрыть в robots.txtтакие ссылки

я понял что надо их закрыть в файле robots.txt, поэтому и написал вопрос в этой теме
подскажите какие ключевые символы из этой ссылки /products.html?category_id=40&manufacturer_id=25&start=840
поставить в "Disallow"

так будет работать:
Disallow: /*&start
?