Индексация Google /ajax_attrib_select_and_price/1.html?ajax=1‎ - страница 2 - SEO

только в самом начале функции

а что при этом делать с яндексом?

гугл-боту отдельно правила прописать

логично

dmitry_stas, ELLE

Спасибо за интересное решение)
Опробовал на клиентском сайте, открыл страницу
 site.ru/component/jshopping/product/ajax_attrib_select_and_price/4.html?ajax=1
HTTP-заголовок правильный (на скрине)

Возник вопрос) Как живут тысячи сайтов, где этим никто не заморачивался?
Ведь почти у всех есть атрибуты в карточке!

та так и живут - в robots.txt запрещают индексацию, и живут. я например еще не сталкивался с ситуацией, когда после запрета в robots.txt таких ссылок они бы все равно попадали в индекс. всегда хватало закрытия в robots.txt. но видимо бывают ситуации...

Я уже писала, что делать, если robots.txt не помогает в случае с Google, и он показывает некоторые стр-цы в индексе с пометкой, что содержание запрещено в файле robots.txt
В данном случае имеем просто AJAX ответ и мета-теги какие-либо туда добавить не получится.
Однако есть еще вариант с http заголовком  X-Robots-Tag
https://developers.google.com/webmasters/control-crawl-index/docs/robots_meta_tag?hl=ru
У нас его редко используют. При его использовании, как и в случае с мета-тегом роботс, страница должна быть открыта для индексации, чтобы бот мог прочитать заголовок.

Сделал все по вашей инструкции,  добавил на страницы /components/com_jshopping/controllers/product.php http заголовок X-Robots-Tag: noindex. В robots.txt открыл Allow: /component/jshopping/product/ajax_attrib_select_and_price/*? Посмотрите пожалуйста все ли я правильно сделал? Сайт chilloutdreams.ru

В robots.txt открыл Allow: /component/jshopping/product/ajax_attrib_select_and_price/*?

Зачем вам вообще эта строка?

вполне логичный вопрос. по умолчанию и так открыто для индексации.

вполне логичный вопрос. по умолчанию и так открыто для индексации.

Этот инструмент проверки robots https://www.google.com/webmasters/tools/robots-testing-tool  показал запрет на индексацию Disallow: /component/ я по этому и прописал ту строку, что делать? Удалить Disallow: /component/ ?

не удалять, если вы добавили Disallow: /component/ для чего то помимо ajax_attrib_select_and_price. тогда нужно добавить Allow: /component/jshopping/product/ajax_attrib_select_and_price/*? . просто обычно /component/ не закрыто от индексации. но если вы его закрыли, то конечно ajax_attrib_select_and_price надо принудительно открыть.

не удалять, если вы добавили Disallow: /component/ для чего то помимо ajax_attrib_select_and_price. тогда нужно добавить Allow: /component/jshopping/product/ajax_attrib_select_and_price/*? . просто обычно /component/ не закрыто от индексации. но если вы его закрыли, то конечно ajax_attrib_select_and_price надо принудительно открыть.

Если честно даже не знаю откуда эта штука Disallow: /component/ там оказалась, удалил ее. Всем спасибо за помощь, надеюсь теперь эти страницы не попадут в Google

Всем доброго времени суток, в панели Вебмастера Google-Ошибки сканирования, появились вот такие ошибки http://site.ru/catalog/product/ajax_attrib_select_and_price/%5C%22http:%5C/%5C/chilloutdreams.ru%5C/components%5C/com_jshopping%5C/files%5C/img_products%5C/full_DSC_0889.jpg%5C%22 отдают 404 ответ сервера, кто нибудь знает почему они формируются и могут ли они навредить сайту, если их будет большое кол-во?