Правильный robots.txt? [вопросы/обсуждение] - страница 14 - Поисковая оптимизация, продвижение сайтов на Joomla (SEO)

index.php. Удалить его или так и должно быть?

User-agent: *
Disallow: /index.php?do=search*
Disallow: /index.php?
Disallow: /index.php
Disallow: /index.php?do=search*

Это стандартная настройка. Если у вас сайт открывает без индекс.пхп и включены настройки SEO в админке ("Включить SEF" и "Перенаправление URL"), то в роботс это правило нужно оставить, а вот другие правила нужно проверить!
Читайте документацию по роботс. У вас куча других ошибок и если вы собираетесь заниматься сайтом, то разберитесь сами, иначе так и будете по форумам лазить в поиске элементарных вопросов...

https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml

P.S. Пару наводящих вопросов:
1. Зачем для разных роботов одинаковые правила создали? Е
2. Если сделали отдельные правила для основных роботов, зачем тогда это:
User-agent: *
3. Вам действительно нужно запретить индексацию картинок еще?
4. Зачем это:

User-agent: *
Disallow: /images/
...

User-agent: YandexImages
Disallow: /images/

Индекс картинок закрыл так как они не уникальные

По поводу перенаправления url, я его настраивал через редирект 301 ( надеюсь мы об одном и том же говорим)

очень большой объем противоречивои инфы

подсмотрел этот вариант на одном сайте, по генерации роботс

1. Ок. тут вопросов нет.

2. Еще раз читайте внимательно: Если включены настройки SEO в админке Joomla ("Включить SEF" и "Перенаправление URL")

3. Это где? Сколько раз читал инфу у яндекса (скинул ссылку ранее) - ни разу не нашел подобного!

4. Загадка не для вас, а для сударя svarg

5. в топку!

Оставляете стандартный набор правил Joomla... далее составляете, то что нужно именно вам!

А то получается так: пациент пришел к доктору с болями в животе, а он ему прописал тоже что и другим! А что у пациента пес его знает! Аппендицит, гастрит, глисты...

По делу - Если уж совсем не знаете что делать, то ждете индексации сайта, и по мере того смотрите какие дубли страниц появились в индексе через вебмастер и в зависимости от списка ненужных страниц ставите соответствующие правила в роботс!
 

как бы не переборщил.

1. Нужно запретить к индексации страницу /tags, но чтобы все страницы под ней tags/1..n.html остались открыты

Disallow: /tags/
Allow: /tags/*

Правильно?

2. Нужно закрыть поддомен poddomen.site.com, но оставить открытым основной сайт site.com

Disallow: /poddomen

Так? В саму папку подддомена роботс свой не нужно прописывать? (Поддомен лежит в папке "poddomen-5.1.2"

Можно так:
Disallow: /tags
Allow: /tags/

А какие еще варианты?

А чем этот не устраивает?
Опишите задачу подробнее, если смогу - помогу.

Устраивает, прописал, жду пока Яндекс очухается.

Просто ради интереса, может еще как можно реализовать.

При этом страницы тегов не попадают в индекс.

Здравствуйте!
Ребята помогите пожалуйста.
Сайт был пролечен после заражения. Было удалено около 6000 левых страниц. Поставлен запрет на индексацию этих страниц. Практически все страницы имели ссылку:
сайт/oakley-......htm
сайт/ray-ban-.....htm
Страницы успешно запретились,
но существуют и такие ссылки, начинающиеся с заглавных символов, которые не закрылись и Яндекс успешно их хавает:
сайт/Ray-Ban-......htm
сайт/Оakley-......htm
Как прописать запрет?

А какие еще варианты?

Disallow: /tags$

<link href="https://lik-astana.kz/produktsiya/produkt-podarochnye-koroba.html" rel="canonical" />

site:https://lik-astana.kz/produktsiya/produkt-podarochnye-koroba/dirDesc.html

А что с ошибками делать которые в панели вебмастера лезут?
И всетаки по поводу кода почему он не срабатывает подскажите.
Или что можно с кнопками сделать? Путаница уже с ошибками с консоли началась

/poligrafiya/by,ordering.html

<?php
$dataArr = array(
					'orders',
                    'com_search',
					'search',
                    'notify',
                    'cart',
                    'com_users',
					'user',
					'askquestion',
					'service',
					'results',
					'product_name',
					'dirDesc',
					'mf_name',
					'by,ordering',
					'vkhod-na-sajt'
                );
foreach ($dataArr as $value){
    if(in_array($value, $_REQUEST)){
        $this->addCustomTag('<meta name="robots" content="noindex, nofollow" />');
        break;
    }
}

?>

<meta name="robots" content="noindex, nofollow" />