Правильный robots.txt? [вопросы/обсуждение] - страница 15 - Поисковая оптимизация, продвижение сайтов на Joomla (SEO)

Удалять ненужные ссылки с кэша и ждать пока проиндексирует заново.

Удалять ненужные ссылки с кэша и ждать пока проиндексирует заново.

С какого именно кэша удалять ссылки? как это сделать то? :-(

У Google есть Search Console там есть пункт меню Индекс Google и в нем Удалить URL-адреса.
У яндекса есть web master там пункт меню Инструменты и в нем Удалить URL.
Удаляете и ждете нового обхода.
В Search Console могут появится ошибки что страница заблокирована (Просто помечайте как исправленные).

Всем привет. ребят подскажите как правильно запретить роботу Яндекс индексировать такие адреса


http://site.ru/classifieds-search.feed?cid=0&order=price&ord_t=asc&type=atom

classifieds-search.feed?cid=0&order=price&ord_t=asc&type=atom

А что запретить то тип: ,0&order,price&ord,atom
Если все такого вида закройте типа Disallow: *search
Не понятно что надо.

А что запретить то тип: ,0&order,price&ord,atom
Если все такого вида закройте типа Disallow: *search
Не понятно что надо.

да я сам еще не понял, по ссылкам открываются текстовые файлы, весь поиск то я думаю не надо закрывать

search

Зачем вам поиск по сайту в поиске. В поиске должны быть страницы один раз, без всякого поиска по сайту.

Всем привет. ребят подскажите как правильно запретить роботу Яндекс индексировать такие адреса


http://site.ru/classifieds-search.feed?cid=0&order=price&ord_t=asc&type=atom

Эти ссылки формируются для того, чтобы сторонние сайты могли публиковать ваши новости.
Запрет индексирования не приведет к тому, что ссылки исчезнут, просто поисковики перестанут их обрабатывать.

Если вы не хотите, чтобы кто-то использовал ваш контент, то можно просто отключить генерацию этих ссылок.
Ищите фразу "joomla отключить atom и rss"

Удачи

Ребят спасибо за ответы. теперь я стал понимать чуть-чуть больше)
search закрыл, rss оставлю

rss

Вы проверьте чтоб в RSS не было текста что на страницах сайта. Иначе это будут дубли.

Всем привет!

Подскажите, правильно ли составлен robots.txt для ИМ на VirtueMart 2.5 с ЧПУ:

Главные сомнения вызывают эти строки:

Disallow: /index.php?
Disallow: */by,created_on*
Disallow: */by,product_in_stock*
Disallow: */results*

Смотрел в Яндекс.Вебмастере. Там около 1000 страниц с некачественными ссылками такого вида.


Если все правильно, то какие правила disallow еще задать, чтобы закрыть от индексации больше мусорных страниц?

Нужны ли в индексе такие страницы?

https://www.biosalon.ru/component/virtuemart/?page=shop.browse&category_id=4&manufacturer_id=0&Itemid=13&orderby=product_name&format=feed&type=rss

Также вопрос почему в некачественные ссылки попадают ссылки на картинки, например:

/images/stories/virtuemart/product/dennerlet517.jpg


Сам файл robots.txt

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/
Disallow: */dirDesc
Disallow: */by*product_name
Disallow: */by*product_price
Disallow: /*print=1
Disallow: /index.php?
Disallow: */*created_on*
Disallow: */*product_in_stock*
Disallow: */results*
Disallow: */askquestion*
Disallow: /*error=404
Allow: /
Allow: /index.php?option=com_xmap&sitemap=1&view=xml

User-agent: GoogleBot
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/
Disallow: */dirDesc
Disallow: */by*product_name
Disallow: */by*product_price
Disallow: /*print=1
Disallow: /index.php?
Disallow: */*created_on*
Disallow: */*product_in_stock*
Disallow: */results*
Disallow: */askquestion*
Disallow: /*error=404
Allow: /
Allow: /index.php?option=com_xmap&sitemap=1&view=xml

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/
Disallow: */dirDesc
Disallow: */by*product_name
Disallow: */by*product_price
Disallow: /*print=1
Disallow: /index.php?
Disallow: */*created_on*
Disallow: */*product_in_stock*
Disallow: */results*
Disallow: */askquestion*
Disallow: /*error=404
Allow: /
Allow: /index.php?option=com_xmap&sitemap=1&view=xml

Host: https://www.biosalon.ru
Sitemap: https://www.biosalon.ru/sitemap.xml

Подскажите, нужно ли в роботсе закрывать папку media, там куча скриптов и CSS

Здравствуйте! Подскажите, пожалуйста, как закрыть от поисковиков сайт для слабовидящих?
В Яндекс метрике много таких страниц:
/dokumenty-2
/dokumenty
Как исключить /dokumenty-2 ?
Мой сайт: https://juravlenok75.ru
robots.txt в таком виде появился только сегодня. Был стандартный для Joomla.

Как исключить /dokumenty-2

Disallow /dokumenty-2

или (более масштабно):

Disallow /*-2$

(любой адрес, завершающийся "-2")

Disallow /dokumenty-2

или (более масштабно):

Disallow /*-2$

(любой адрес, завершающийся "-2")

Спасибо!
Но, так мне придется все прописывать. Каждый материал и так далее. Как сказать роботам, что бы они вообще не посещали другую версию сайта?

Есть ли какой-то общий отличительный признак в адресах страниц другой версии от всех остальных страниц?

Есть ли какой-то общий отличительный признак в адресах страниц другой версии от всех остальных страниц?

Да. Двойка в конце адреса.
-2
Наверно, как Вы подсказали, подойдет правило
Disallow /*-2$

Только, как понимаю $ - это будет значить, что после цифры 2, ничего нет. А если будет php, или html - то проиндексируется?

Только, как понимаю $ - это будет значить, что после цифры 2

нет это означает конец строки

Только, как понимаю $ - это будет значить, что после цифры 2, ничего нет. А если будет php, или HTML - то проиндексируется?

Да, правильно поняли.
Если у Вас в адресах в конце - указанные суффиксы, можете так сделать:

Если у Вас в адресах в конце - указанные суффиксы, можете так сделать:

Код

Disallow /*-2$
Disallow /*-2.php
Disallow /*-2.html

Суфиксов нет. ЧПУ включено... но прописать, на всякий случай, думаю можно

Суфиксов нет. ЧПУ включено... но прописать, на всякий случай, думаю можно

тогда лучше единицу прописывать

тогда лучше единицу прописывать

Какую единицу?

Какую единицу?

единица это образно.
Просто представьте что роботы будут игнорить все что заканчивается на 2
А вдруг( ну всякое может быть) у вас материал сам по себе заканчивается на 2?
А в слабовидящей будет -2-2

Просто представьте что роботы будут игнорить все что заканчивается на 2
А вдруг( ну всякое может быть) у вас материал сам по себе заканчивается на 2?
А в слабовидящей будет -2-2

Я сам двойку прописываю. Стараюсь следить за этим. Двойка только в материалах версии для слабовидящих. Сайт небольшой, можно контролировать.

А вот у меня было в разрешенных так:
Allow: /images/
Allow: /templates/*.css
Allow: /templates/*.js
Allow: /*.js
Allow: /*.css
Allow: /*.jpg
Allow: /*.gif
Allow: /*.png

Глянул на днях и увидел, что в поиск полезли и pdf и docx. Закрыл я images корч.
В папке images у меня ВСЕ папки лежат. Все файлы. иконки, пдф, zip. Это, если мне только НОВОСТИ нужно "показать" то исключить надо 100500 папок ))) Пусть так будет ) Сайт с 2015 года как то жил, а robots.txt я на днях только занялся. Был дефолтный.

И оставил так.
Disallow: /images/
Allow: /templates/*.css
Allow: /templates/*.js
Allow: /*.js
Allow: /*.css

И оставил так.
Disallow: /images/

Думаю, погорячились ))
Все картинки не надо запрещать 
Хотя бы так:

и т.д.

Думаю, погорячились ))
Все картинки не надо запрещать 
Хотя бы так:

Код

Disallow: /images/
Allow: /images/*.jpg
Allow: /images/*.jpeg
Allow: /images/*.png
Allow: /images/*.gif

и т.д.

Спасибо! Попробую! Посмотрю, что получится.

Вообще, идеально для меня - это вывести только новости сайта, но не очень понимаю, как исключить все что не надо и включить все что надо, по "пути" до них.

Думаю, погорячились ))
Все картинки не надо запрещать 
Хотя бы так:

Код

Disallow: /images/
Allow: /images/*.jpg
Allow: /images/*.jpeg
Allow: /images/*.png
Allow: /images/*.gif

и т.д.

Полотно для гугла

Вебмастер Яндекс упрощает жизнь, но не гарантирует точности ни для своего поисковика, ни для других поисковиков )