Правильный robots.txt? [вопросы/обсуждение] - страница 12 - Поисковая оптимизация, продвижение сайтов на Joomla (SEO)

Есть сайт. У него два имени: mysite1.ru и mysite2.ru
Написал rodots.txt примерно вот такой:

User-agent: *
Host: mysite1.ru
далее идут всевоможные Disallow

и тут обнаружил что Яндекс видит только один сайт (mysite1.ru), а у Google в выдачи оба сайта. Что я не так сделал?

Есть сайт. У него два имени: mysite1.ru и mysite2.ru
Написал rodots.txt примерно вот такой:

User-agent: *
Host: mysite1.ru
далее идут всевоможные Disallow

и тут обнаружил что Яндекс видит только один сайт (mysite1.ru), а у Google в выдачи оба сайта. Что я не так сделал?

А в чем смысл два имени, один сайт. Один дубль другого. А это не хорошо (если зеркало это другое). Так не должно быть. Поисковик все равно выбирит один. Не пойму смысла один сайт с двумя именами.
Дублей и так хватает, к примеру один без www. другой c www.
Один обычно закрывают чтоб дубля не было. А вы хотите сами чтоб дубль был. Или на разных сайтах инфа разная? или регион? Не понятно, что надо.

вообще то я думал что это распространенная практика. Сайты одинаковые, имена разные. Смысл в том что бы "занять" красивые названия. Что бы дублей не было я и указал что один зеркало другого. По теме есть что сказать?

Есть сайт. У него два имени: mysite1.ru и mysite2.ru
Написал rodots.txt примерно вот такой:

User-agent: *
Host: mysite1.ru
далее идут всевоможные Disallow

и тут обнаружил что Яндекс видит только один сайт (mysite1.ru), а у Google в выдачи оба сайта. Что я не так сделал?

Написано в роботе Host: mysite1.ru
Второй зеркало, вы об этом не писали в первом посте.
Зеркала склеит робот.
Если так рассуждать взять прикупить 10 доменов и на один сайт сделать. И все 10 будут в выдаче по одному запросу? Так не прокатит думаю. Один будет уникальный а остальные дубли. И в поиске их не будет. В первое время может и будут, а потом поисковики на них забьют.
Из вопроса в обще не понятно что хотите. Чтоб оба были в поиске или один.

Ничего лишнего не открыл случаем?

Написано в роботе Host: mysite1.ru
Второй зеркало, вы об этом не писали в первом посте.

ну сайт то один, два имени. Сайты идентичны. Я думал это и есть "зеркало".

Зеркала склеит робот.
Если так рассуждать взять прикупить 10 доменов и на один сайт сделать. И все 10 будут в выдаче по одному запросу? Так не прокатит думаю. Один будет уникальный а остальные дубли. И в поиске их не будет. В первое время может и будут, а потом поисковики на них забьют.

ну вот в Google именно два сайта с двумя именами. Причем сайту несколько лет.

Из вопроса в обще не понятно что хотите. Чтоб оба были в поиске или один.

хочу что бы в поиск был виден только один сайт
[/quote]

Ничего лишнего не открыл случаем?

Спойлер

[свернуть]

там вообще ничего не открыто, только закрыты некоторые папки.

PS А зачем папку template закрывать? Что в ней такого криминального?

Зеркало надо указывать, в ян точно была функция.
Что такое зеркало https://help.yandex.ru/webmaster/yandex-indexing/site-mirrors.xml
как сделать зеркало сайта на другом домене https://www.google.ru/webhp?sourceid=chrome-instant&ion=1&espv=2&ie=UTF-8#newwindow=1&safe=off&q=%D0%BA%D0%B0%D0%BA+%D1%81%D0%B4%D0%B5%D0%BB%D0%B0%D1%82%D1%8C+%D0%B7%D0%B5%D1%80%D0%BA%D0%B0%D0%BB%D0%BE+%D1%81%D0%B0%D0%B9%D1%82%D0%B0+%D0%BD%D0%B0+%D0%B4%D1%80%D1%83%D0%B3%D0%BE%D0%BC+%D0%B4%D0%BE%D0%BC%D0%B5%D0%BD%D0%B5
У Google два сайта и как он смотрит на один из них? У него тоже зеркало можно добавить.
Чтоб в поиске был один сайт можно один в обще закрыть от индекса. Disallow: сайт. Выбрать какой в индексе должен быть и раскручивать его.
Если один не закрывать робот будет считать, что сайт инфу с другого списал. И какому будет дан приоритет знает только сам поисковик.
Папку  template закрывать для того чтоб робот не тратил время на нее (как и на другие, ненужные для индекса) а не то, что там криминальное.
Как закрыть сайт от индекса и зеркала лучше читать в первоисточнике. Яндекс и Google

Зеркало надо указывать, в ян точно была функция.

в роботс тхт указал host. Google этого мало что ли...

У Google два сайта и как он смотрит на один из них? У него тоже зеркало можно добавить.

он на оба вроде нормально смотрит, но как зеркало добавить?

Чтоб в поиске был один сайт можно один в обще закрыть от индекса. Disallow: сайт. Выбрать какой в индексе должен быть и раскручивать его.
Если один не закрывать робот будет считать, что сайт инфу с другого списал. И какому будет дан приоритет знает только сам поисковик.

не хочется закрывать. Как ему бы сказать что это зеркало...

в роботс тхт указал host. Google этого мало что ли...

На одном написан хост, а на втором какой хост? Один хост сайт 1, на втором хост сайт 2. Так что ли.
По ссылке выше у Яндекс все расписано. Как сделать зеркало.

сайт один и тот же. Просто у хостера прописано на него два домена. Физически это один и тот же сайт. К яндексу притензий нет - он все правильно склеил. Вопросы к Google - в выдаче оба сайта. При этом с сайтом не делалось ничего в этом отношении года три. Имеет ли смысл волноваться на эту тему? Или нужно и в Google как то их склеивать?

Ну я не знаю стоит ли вам волноваться или нет.
У вас получается один сайт материал скатал с другого. И не знаю какой робот считает оригиналом.
Я не знаю что лучше склеить или перенаправление сделать.
Я лично не вижу смысла держать два сайта с одинаковым контентом.
Понимаю разные адреса, разный контент-одна поисковая фраза или сходная фраза.
Как в Google указать зеркало сайта https://www.google.ru/search?q=%D0%BA%D0%B0%D0%BA+%D0%B2+Google+%D1%83%D0%BA%D0%B0%D0%B7%D0%B0%D1%82%D1%8C+%D0%B7%D0%B5%D1%80%D0%BA%D0%B0%D0%BB%D0%BE+%D1%81%D0%B0%D0%B9%D1%82%D0%B0&oq=%D0%BA%D0%B0%D0%BA+%D0%B2+Google+%D1%83%D0%BA%D0%B0%D0%B7%D0%B0%D1%82%D1%8C+%D0%B7%D0%B5%D1%80%D0%BA%D0%B0%D0%BB%D0%BE+%D1%81%D0%B0%D0%B9%D1%82%D0%B0&aqs=chrome..69i57j0.18058j0j4&sourceid=chrome&es_sm=122&ie=UTF-8
Посмотрите в вебмастере по каким запросам и на какой сайты люди ходят. Какие странице в поиске у  Google, какого сайта. А там уже решать.

Как в Google указать зеркало сайта https://www.google.ru/search?q=%D0%BA%D0%B0%D0%BA+%D0%B2+Google+%D1%83%D0%BA%D0%B0%D0%B7%D0%B0%D1%82%D1%8C+%D0%B7%D0%B5%D1%80%D0%BA%D0%B0%D0%BB%D0%BE+%D1%81%D0%B0%D0%B9%D1%82%D0%B0&oq=%D0%BA%D0%B0%D0%BA+%D0%B2+Google+%D1%83%D0%BA%D0%B0%D0%B7%D0%B0%D1%82%D1%8C+%D0%B7%D0%B5%D1%80%D0%BA%D0%B0%D0%BB%D0%BE+%D1%81%D0%B0%D0%B9%D1%82%D0%B0&aqs=chrome..69i57j0.18058j0j4&sourceid=chrome&es_sm=122&ie=UTF-8
Посмотрите в вебмастере по каким запросам и на какой сайты люди ходят. Какие странице в поиске у  Google, какого сайта. А там уже решать.

по ссылке там не то. Там либо говорят про host (что у меня прописано) либо под зеркалом имеют ввbду wwww
я давно уже реши какой сайт основной. как это Google обяснить?

Директива хост должна показать главный домен. Робот ведь при заходе на 2 сайт будет читать директива хост.
В Google удалите страницы из поиска какие не нужны. Отправьте запрос на удаление URL из результатов поиска Google В панели вебмастера)
дополнительно сделайте перенаправление в htaccess со второго сайта, указав сайт с www и без.
Позиции какие у второго сайта не нужного? Даже если нормальные очень много тем "Как переехать с одного домена на другой, не потеряв позиций"


А так то Google рулит https://www.google.ru/webhp?sourceid=chrome-instant&ion=1&espv=2&ie=UTF-8#newwindow=1&safe=off&q=%D1%81%D0%B4%D0%B5%D0%BB%D0%B0%D1%82%D1%8C+%D0%B7%D0%B5%D1%80%D0%BA%D0%B0%D0%BB%D0%BE%D0%BC+%D1%81%D0%B0%D0%B9%D1%82%D0%B0+%D0%B4%D1%80%D1%83%D0%B3%D0%BE%D0%B9+%D0%B4%D0%BE%D0%BC%D0%B5%D0%BD

Выше писал уже, я лично считаю больше будет пользы сделать второй сайт по новой с другим контентом но одинаковыми поисковыми запросами. Типа "продам машину" поисковых слов куча https://wordstat.yandex.ru/#!/?words=%D0%BF%D1%80%D0%BE%D0%B4%D0%B0%D0%BC%20%D0%BC%D0%B0%D1%88%D0%B8%D0%BD%D1%83
Даст он сколько то человек на сайт будет больше пользы.
Пускай наши спецы поправят если не прав. Сколько человек столько мнений.
Всех послушайте и примите решение.
Как то так.

да есть директива хост которая указывает на нужный сайт. Только Google как то проигнорировал ее. перенаправление стоит с www на без www ддя обоих сайтов. хочется что бы было именно два сайта. позиции хорошие у обоих

ну сайт то один, два имени. Сайты идентичны. Я думал это и есть "зеркало".
ну вот в Google именно два сайта с двумя именами. Причем сайту несколько лет.хочу что бы в поиск был виден только один сайт

да есть директива хост которая указывает на нужный сайт. Только Google как то проигнорировал ее. перенаправление стоит с www на без www ддя обоих сайтов. хочется что бы было именно два сайта. позиции хорошие у обоих

Я лично уже запутался, вы пишите в одном месте надо один сайт, в другом два.

сайт один. Два доменных имени. Хочеться что бы не было перенаправления, если посетитель зашел на сайт site2.ru, то пусть по нему и "ходит"

Оставьте все как есть. У Яндекс указано говорите зеркало добавили, Google тоже читает хост. Я что у него в голове, только он знает. И что он потом посчитает оригиналом я не знаю. И сейчас считает какой сайт оригиналом считает.
Перенаправление вы не хотите, закрывать не хотите.
Я не знаю как по другому сделать. Выше писал разные методы. И как бы я сделал писал.
 

Ничего лишнего не открыл случаем?

Спойлер

[свернуть]

там вообще ничего не открыто, только закрыты некоторые папки.

PS А зачем папку template закрывать? Что в ней такого криминального?

А зачем закрывать /components, /modules, /plugisns? та же вроде просто расширения, как и шаблоны - просто расширения? Открыл только стили, скрипты и картинки, для гугл-ботов, чтоб они спокойны были за отображение на мобильных.

Подскажите как закрыть страницы сортировки и показа страниц вида:
site.com/shop/search/bosch/by,product_name.html
site.com/shop/search/bosch/by,category_name.html
site.com/shop/search/bosch/by,category_name/results,1-40.html

?

Ребят, подскажите как в Robot.txt дубли убрать

Короче, вот правильные ссылки
1) site.ru/sportivnyj-massazh
2) site.ru/massazh-spiny
3) site.ru/lechebnyj-massazh

В Google куча вот таких дублей:
1) site.ru/sportivnyj-massazh/9-nashi-uslugi/17-tseny
2) site.ru/massazh-spiny/9-nashi-uslugi/17-tseny
3) site.ru/lechebnyj-massazh/9-nashi-uslugi/17-tseny

Хотя бы намекните про какой оператор для robot.txt почитать?
Всю голову себе уже сломал.
Огромное спасибо, за помощь!

Ребят, подскажите как в Robot.txt дубли убрать

Короче, вот правильные ссылки
1) site.ru/sportivnyj-massazh
2) site.ru/massazh-spiny
3) site.ru/lechebnyj-massazh

В Google куча вот таких дублей:
1) site.ru/sportivnyj-massazh/9-nashi-uslugi/17-tseny
2) site.ru/massazh-spiny/9-nashi-uslugi/17-tseny
3) site.ru/lechebnyj-massazh/9-nashi-uslugi/17-tseny

Хотя бы намекните про какой оператор для robot.txt почитать?
Всю голову себе уже сломал.
Огромное спасибо, за помощь!

Disallow: *nashi-uslugi
И проверьте на яндексе закрылись или нет.
Закрываем ссылки где присутствует nashi-uslugi если не нужны ссылки типа site.ru/lechebnyj-massazh/9-nashi-uslugi/17-tseny. Сами посмотрите что надо а что нет. И проверяйте на Ян, проверить робот.тхт

Disallow: *nashi-uslugi
И проверьте на яндексе закрылись или нет.
Закрываем ссылки где присутствует nashi-uslugi если не нужны ссылки типа site.ru/lechebnyj-massazh/9-nashi-uslugi/17-tseny. Сами посмотрите что надо а что нет. И проверяйте на Ян, проверить робот.тхт

Спасибо, хорошая Идея.
В данное время Яндекс еще жду пока проиндексирует уже 35 дней не заходит в Яндес, хотя иконка желтая горит, что через 1-2 обновления все проиндексируется.

А Скажи как правильно написать? Вы написали : Disallow: *nashi-uslugi   или Disallow: /*nashi-uslugi   

Спасибо, хорошая Идея.
В данное время Яндекс еще жду пока проиндексирует уже 35 дней не заходит в Яндес, хотя иконка желтая горит, что через 1-2 обновления все проиндексируется.

А Скажи как правильно написать? Вы написали : Disallow: *nashi-uslugi   или Disallow: /*nashi-uslugi    

Не надо ждать пока ян проиндексирует. Надо проверить робот.тхт на сервисе ян. И проверить чтоб не закрылось что то нужное. У меня так типа *nashi-uslugi. Если слеш поставить каталог закроется вроде, проверьте на Ян. НАДО ПРОВЕРЯТЬ НА ЯН. Такую инфу лучше читать на первоисточнике. На том же Яндекс. Там все расписано. Видео где проверить на ян. http://www.mani-mani-net.ru/%D0%B2%D0%B8%D0%B4%D0%B5%D0%BE-%D0%BE%D0%BD%D0%BB%D0%B0%D0%B9%D0%BD-%D1%83%D1%87%D0%B5%D0%B1%D0%BD%D0%BE%D0%B5?start=6

Спасибо тебе, добрый человек, ценная инфа)))! хоть не много стало понятно с этим работом! Респект и здоровья тебе!

На форуме море подобных тем http://joomlaforum.ru/index.php?action=search2

Здравствуйте уважаемые ГУРУ, вопрос такого плана - на почту пришло письмо следующего содержания:

Googlebot не может получить доступ к файлам CSS и JS на сайте http://feldgrau.info/

Веб-мастеру сайта http://feldgrau.info/

при этом файл роботс имеет такое содержимое:

# If the Joomla site is installed within a folder such as at
# e.g. www.example.com/joomla/ the robots.txt file MUST be
# moved to the site root at e.g. www.example.com/robots.txt
# AND the Joomla folder name MUST be prefixed to the disallowed
# path, e.g. the Disallow rule for the /administrator/ folder
# MUST be changed to read Disallow: /joomla/administrator/
#
# For more information about the robots.txt standard, see:
# http://www.robotstxt.org/orig.html
#
# For syntax checking, see:
# http://tool.motoricerca.info/robots-checker.phtml

User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/


Откуда Google взял эти папки? При проверке обнаружилось что да... отображается для Google не так как для пользователей.. чего нужно дописать или удалить? Движок 3ка.

Что отображается не так? В папке CSS пользователи не чего не видят. Они видят материал, картинки и как это отображается на сайте. Да и папка CSS роботу не нужна. Робот должен видеть контент и изображения. Откуда взял, папка шаблона не закрыта, от туда и взял в ней CSS папка.
Робот мог не получить доступ потому что в этот момент сайт был перегружен или не доступен ( как вариант). Проверьте страницы которые надо индексировать на сервисе ян и Google. Разрешены ли к индексу .

Правильной ли будет директива в роботс?  Disallow: /*all чтобы закрыть ссылки типа http://fmd-online.com/biblioteka/all/page2