0 Пользователей и 1 Гость просматривают эту тему.
  • 445 Ответов
  • 192053 Просмотров
*

Sergey2

  • Давно я тут
  • 652
  • 15 / 1
Есть сайт. У него два имени: mysite1.ru и mysite2.ru
Написал rodots.txt примерно вот такой:

User-agent: *
Host: mysite1.ru
далее идут всевоможные Disallow

и тут обнаружил что Яндекс видит только один сайт (mysite1.ru), а у Google в выдачи оба сайта. Что я не так сделал?
*

stendapuss

  • Давно я тут
  • 942
  • 20 / 0
  • Valera Stankevich
Есть сайт. У него два имени: mysite1.ru и mysite2.ru
Написал rodots.txt примерно вот такой:

User-agent: *
Host: mysite1.ru
далее идут всевоможные Disallow

и тут обнаружил что Яндекс видит только один сайт (mysite1.ru), а у Google в выдачи оба сайта. Что я не так сделал?
А в чем смысл два имени, один сайт. Один дубль другого. А это не хорошо (если зеркало это другое). Так не должно быть. Поисковик все равно выбирит один. Не пойму смысла один сайт с двумя именами.
Дублей и так хватает, к примеру один без www. другой c www.
Один обычно закрывают чтоб дубля не было. А вы хотите сами чтоб дубль был. Или на разных сайтах инфа разная? или регион? Не понятно, что надо.
*

Sergey2

  • Давно я тут
  • 652
  • 15 / 1
вообще то я думал что это распространенная практика. Сайты одинаковые, имена разные. Смысл в том что бы "занять" красивые названия. Что бы дублей не было я и указал что один зеркало другого. По теме есть что сказать?
*

stendapuss

  • Давно я тут
  • 942
  • 20 / 0
  • Valera Stankevich
Есть сайт. У него два имени: mysite1.ru и mysite2.ru
Написал rodots.txt примерно вот такой:

User-agent: *
Host: mysite1.ru
далее идут всевоможные Disallow

и тут обнаружил что Яндекс видит только один сайт (mysite1.ru), а у Google в выдачи оба сайта. Что я не так сделал?
Написано в роботе Host: mysite1.ru
Второй зеркало, вы об этом не писали в первом посте.
Зеркала склеит робот.
Если так рассуждать взять прикупить 10 доменов и на один сайт сделать. И все 10 будут в выдаче по одному запросу? Так не прокатит думаю. Один будет уникальный а остальные дубли. И в поиске их не будет. В первое время может и будут, а потом поисковики на них забьют.
Из вопроса в обще не понятно что хотите. Чтоб оба были в поиске или один.
*

AlekVolsk

  • Гуру
  • 6916
  • 411 / 4
Ничего лишнего не открыл случаем?
Спойлер
[свернуть]
*

Sergey2

  • Давно я тут
  • 652
  • 15 / 1
Написано в роботе Host: mysite1.ru
Второй зеркало, вы об этом не писали в первом посте.
ну сайт то один, два имени. Сайты идентичны. Я думал это и есть "зеркало".

Цитировать
Зеркала склеит робот.
Если так рассуждать взять прикупить 10 доменов и на один сайт сделать. И все 10 будут в выдаче по одному запросу? Так не прокатит думаю. Один будет уникальный а остальные дубли. И в поиске их не будет. В первое время может и будут, а потом поисковики на них забьют.
ну вот в Google именно два сайта с двумя именами. Причем сайту несколько лет.
Цитировать
Из вопроса в обще не понятно что хотите. Чтоб оба были в поиске или один.
хочу что бы в поиск был виден только один сайт
[/quote]
*

Sergey2

  • Давно я тут
  • 652
  • 15 / 1
Ничего лишнего не открыл случаем?
Спойлер
[свернуть]
там вообще ничего не открыто, только закрыты некоторые папки.

PS А зачем папку template закрывать? Что в ней такого криминального?
*

stendapuss

  • Давно я тут
  • 942
  • 20 / 0
  • Valera Stankevich
Зеркало надо указывать, в ян точно была функция.
Что такое зеркало https://help.yandex.ru/webmaster/yandex-indexing/site-mirrors.xml
как сделать зеркало сайта на другом домене https://www.google.ru/webhp?sourceid=chrome-instant&ion=1&espv=2&ie=UTF-8#newwindow=1&safe=off&q=%D0%BA%D0%B0%D0%BA+%D1%81%D0%B4%D0%B5%D0%BB%D0%B0%D1%82%D1%8C+%D0%B7%D0%B5%D1%80%D0%BA%D0%B0%D0%BB%D0%BE+%D1%81%D0%B0%D0%B9%D1%82%D0%B0+%D0%BD%D0%B0+%D0%B4%D1%80%D1%83%D0%B3%D0%BE%D0%BC+%D0%B4%D0%BE%D0%BC%D0%B5%D0%BD%D0%B5
У Google два сайта и как он смотрит на один из них? У него тоже зеркало можно добавить.
Чтоб в поиске был один сайт можно один в обще закрыть от индекса. Disallow: сайт. Выбрать какой в индексе должен быть и раскручивать его.
Если один не закрывать робот будет считать, что сайт инфу с другого списал. И какому будет дан приоритет знает только сам поисковик.
Папку  template закрывать для того чтоб робот не тратил время на нее (как и на другие, ненужные для индекса) а не то, что там криминальное.
Как закрыть сайт от индекса и зеркала лучше читать в первоисточнике. Яндекс и Google
« Последнее редактирование: 23.04.2015, 17:14:04 от stendapuss »
*

Sergey2

  • Давно я тут
  • 652
  • 15 / 1
Зеркало надо указывать, в ян точно была функция.
в роботс тхт указал host. Google этого мало что ли...

Цитировать
У Google два сайта и как он смотрит на один из них? У него тоже зеркало можно добавить.
он на оба вроде нормально смотрит, но как зеркало добавить?

Цитировать
Чтоб в поиске был один сайт можно один в обще закрыть от индекса. Disallow: сайт. Выбрать какой в индексе должен быть и раскручивать его.
Если один не закрывать робот будет считать, что сайт инфу с другого списал. И какому будет дан приоритет знает только сам поисковик.
не хочется закрывать. Как ему бы сказать что это зеркало...
*

stendapuss

  • Давно я тут
  • 942
  • 20 / 0
  • Valera Stankevich
в роботс тхт указал host. Google этого мало что ли...
На одном написан хост, а на втором какой хост? Один хост сайт 1, на втором хост сайт 2. Так что ли.
По ссылке выше у Яндекс все расписано. Как сделать зеркало.
*

Sergey2

  • Давно я тут
  • 652
  • 15 / 1
сайт один и тот же. Просто у хостера прописано на него два домена. Физически это один и тот же сайт. К яндексу притензий нет - он все правильно склеил. Вопросы к Google - в выдаче оба сайта. При этом с сайтом не делалось ничего в этом отношении года три. Имеет ли смысл волноваться на эту тему? Или нужно и в Google как то их склеивать?
*

stendapuss

  • Давно я тут
  • 942
  • 20 / 0
  • Valera Stankevich
Ну я не знаю стоит ли вам волноваться или нет.
У вас получается один сайт материал скатал с другого. И не знаю какой робот считает оригиналом.
Я не знаю что лучше склеить или перенаправление сделать.
Я лично не вижу смысла держать два сайта с одинаковым контентом.
Понимаю разные адреса, разный контент-одна поисковая фраза или сходная фраза.
Как в Google указать зеркало сайта https://www.google.ru/search?q=%D0%BA%D0%B0%D0%BA+%D0%B2+Google+%D1%83%D0%BA%D0%B0%D0%B7%D0%B0%D1%82%D1%8C+%D0%B7%D0%B5%D1%80%D0%BA%D0%B0%D0%BB%D0%BE+%D1%81%D0%B0%D0%B9%D1%82%D0%B0&oq=%D0%BA%D0%B0%D0%BA+%D0%B2+Google+%D1%83%D0%BA%D0%B0%D0%B7%D0%B0%D1%82%D1%8C+%D0%B7%D0%B5%D1%80%D0%BA%D0%B0%D0%BB%D0%BE+%D1%81%D0%B0%D0%B9%D1%82%D0%B0&aqs=chrome..69i57j0.18058j0j4&sourceid=chrome&es_sm=122&ie=UTF-8
Посмотрите в вебмастере по каким запросам и на какой сайты люди ходят. Какие странице в поиске у  Google, какого сайта. А там уже решать.
*

Sergey2

  • Давно я тут
  • 652
  • 15 / 1
Как в Google указать зеркало сайта https://www.google.ru/search?q=%D0%BA%D0%B0%D0%BA+%D0%B2+Google+%D1%83%D0%BA%D0%B0%D0%B7%D0%B0%D1%82%D1%8C+%D0%B7%D0%B5%D1%80%D0%BA%D0%B0%D0%BB%D0%BE+%D1%81%D0%B0%D0%B9%D1%82%D0%B0&oq=%D0%BA%D0%B0%D0%BA+%D0%B2+Google+%D1%83%D0%BA%D0%B0%D0%B7%D0%B0%D1%82%D1%8C+%D0%B7%D0%B5%D1%80%D0%BA%D0%B0%D0%BB%D0%BE+%D1%81%D0%B0%D0%B9%D1%82%D0%B0&aqs=chrome..69i57j0.18058j0j4&sourceid=chrome&es_sm=122&ie=UTF-8
Посмотрите в вебмастере по каким запросам и на какой сайты люди ходят. Какие странице в поиске у  Google, какого сайта. А там уже решать.
по ссылке там не то. Там либо говорят про host (что у меня прописано) либо под зеркалом имеют ввbду wwww
я давно уже реши какой сайт основной. как это Google обяснить?
*

stendapuss

  • Давно я тут
  • 942
  • 20 / 0
  • Valera Stankevich
Директива хост должна показать главный домен. Робот ведь при заходе на 2 сайт будет читать директива хост.
В Google удалите страницы из поиска какие не нужны. Отправьте запрос на удаление URL из результатов поиска Google В панели вебмастера)
дополнительно сделайте перенаправление в htaccess со второго сайта, указав сайт с www и без.
Позиции какие у второго сайта не нужного? Даже если нормальные очень много тем "Как переехать с одного домена на другой, не потеряв позиций"


А так то Google рулит https://www.google.ru/webhp?sourceid=chrome-instant&ion=1&espv=2&ie=UTF-8#newwindow=1&safe=off&q=%D1%81%D0%B4%D0%B5%D0%BB%D0%B0%D1%82%D1%8C+%D0%B7%D0%B5%D1%80%D0%BA%D0%B0%D0%BB%D0%BE%D0%BC+%D1%81%D0%B0%D0%B9%D1%82%D0%B0+%D0%B4%D1%80%D1%83%D0%B3%D0%BE%D0%B9+%D0%B4%D0%BE%D0%BC%D0%B5%D0%BD

Выше писал уже, я лично считаю больше будет пользы сделать второй сайт по новой с другим контентом но одинаковыми поисковыми запросами. Типа "продам машину" поисковых слов куча https://wordstat.yandex.ru/#!/?words=%D0%BF%D1%80%D0%BE%D0%B4%D0%B0%D0%BC%20%D0%BC%D0%B0%D1%88%D0%B8%D0%BD%D1%83
Даст он сколько то человек на сайт будет больше пользы.
Пускай наши спецы поправят если не прав. Сколько человек столько мнений.
Всех послушайте и примите решение.
Как то так.
*

Sergey2

  • Давно я тут
  • 652
  • 15 / 1
да есть директива хост которая указывает на нужный сайт. Только Google как то проигнорировал ее. перенаправление стоит с www на без www ддя обоих сайтов. хочется что бы было именно два сайта. позиции хорошие у обоих
*

stendapuss

  • Давно я тут
  • 942
  • 20 / 0
  • Valera Stankevich
ну сайт то один, два имени. Сайты идентичны. Я думал это и есть "зеркало".
ну вот в Google именно два сайта с двумя именами. Причем сайту несколько лет.хочу что бы в поиск был виден только один сайт

да есть директива хост которая указывает на нужный сайт. Только Google как то проигнорировал ее. перенаправление стоит с www на без www ддя обоих сайтов. хочется что бы было именно два сайта. позиции хорошие у обоих
Я лично уже запутался, вы пишите в одном месте надо один сайт, в другом два.
*

Sergey2

  • Давно я тут
  • 652
  • 15 / 1
сайт один. Два доменных имени. Хочеться что бы не было перенаправления, если посетитель зашел на сайт site2.ru, то пусть по нему и "ходит"
*

stendapuss

  • Давно я тут
  • 942
  • 20 / 0
  • Valera Stankevich
Оставьте все как есть. У Яндекс указано говорите зеркало добавили, Google тоже читает хост. Я что у него в голове, только он знает. И что он потом посчитает оригиналом я не знаю. И сейчас считает какой сайт оригиналом считает.
Перенаправление вы не хотите, закрывать не хотите.
Я не знаю как по другому сделать. Выше писал разные методы. И как бы я сделал писал.
 
*

AlekVolsk

  • Гуру
  • 6916
  • 411 / 4
Ничего лишнего не открыл случаем?
Спойлер
[свернуть]
там вообще ничего не открыто, только закрыты некоторые папки.

PS А зачем папку template закрывать? Что в ней такого криминального?
А зачем закрывать /components, /modules, /plugisns? та же вроде просто расширения, как и шаблоны - просто расширения? Открыл только стили, скрипты и картинки, для гугл-ботов, чтоб они спокойны были за отображение на мобильных.
*

palivotttt

  • Осваиваюсь на форуме
  • 12
  • 0 / 0
Подскажите как закрыть страницы сортировки и показа страниц вида:
site.com/shop/search/bosch/by,product_name.html
site.com/shop/search/bosch/by,category_name.html
site.com/shop/search/bosch/by,category_name/results,1-40.html

?
*

Lopes-popes

  • Захожу иногда
  • 129
  • 1 / 0
Ребят, подскажите как в Robot.txt дубли убрать

Короче, вот правильные ссылки
1) site.ru/sportivnyj-massazh
2) site.ru/massazh-spiny
3) site.ru/lechebnyj-massazh

В Google куча вот таких дублей:
1) site.ru/sportivnyj-massazh/9-nashi-uslugi/17-tseny
2) site.ru/massazh-spiny/9-nashi-uslugi/17-tseny
3) site.ru/lechebnyj-massazh/9-nashi-uslugi/17-tseny

Хотя бы намекните про какой оператор для robot.txt почитать?
Всю голову себе уже сломал.
Огромное спасибо, за помощь!
*

stendapuss

  • Давно я тут
  • 942
  • 20 / 0
  • Valera Stankevich
Ребят, подскажите как в Robot.txt дубли убрать

Короче, вот правильные ссылки
1) site.ru/sportivnyj-massazh
2) site.ru/massazh-spiny
3) site.ru/lechebnyj-massazh

В Google куча вот таких дублей:
1) site.ru/sportivnyj-massazh/9-nashi-uslugi/17-tseny
2) site.ru/massazh-spiny/9-nashi-uslugi/17-tseny
3) site.ru/lechebnyj-massazh/9-nashi-uslugi/17-tseny

Хотя бы намекните про какой оператор для robot.txt почитать?
Всю голову себе уже сломал.
Огромное спасибо, за помощь!
Disallow: *nashi-uslugi
И проверьте на яндексе закрылись или нет.
Закрываем ссылки где присутствует nashi-uslugi если не нужны ссылки типа site.ru/lechebnyj-massazh/9-nashi-uslugi/17-tseny. Сами посмотрите что надо а что нет. И проверяйте на Ян, проверить робот.тхт
*

Lopes-popes

  • Захожу иногда
  • 129
  • 1 / 0
Disallow: *nashi-uslugi
И проверьте на яндексе закрылись или нет.
Закрываем ссылки где присутствует nashi-uslugi если не нужны ссылки типа site.ru/lechebnyj-massazh/9-nashi-uslugi/17-tseny. Сами посмотрите что надо а что нет. И проверяйте на Ян, проверить робот.тхт

Спасибо, хорошая Идея.
В данное время Яндекс еще жду пока проиндексирует уже 35 дней не заходит в Яндес, хотя иконка желтая горит, что через 1-2 обновления все проиндексируется.

А Скажи как правильно написать? Вы написали : Disallow: *nashi-uslugi   или Disallow: /*nashi-uslugi   
*

stendapuss

  • Давно я тут
  • 942
  • 20 / 0
  • Valera Stankevich
Спасибо, хорошая Идея.
В данное время Яндекс еще жду пока проиндексирует уже 35 дней не заходит в Яндес, хотя иконка желтая горит, что через 1-2 обновления все проиндексируется.

А Скажи как правильно написать? Вы написали : Disallow: *nashi-uslugi   или Disallow: /*nashi-uslugi    
Не надо ждать пока ян проиндексирует. Надо проверить робот.тхт на сервисе ян. И проверить чтоб не закрылось что то нужное. У меня так типа *nashi-uslugi. Если слеш поставить каталог закроется вроде, проверьте на Ян.
Спойлер
[свернуть]
НАДО ПРОВЕРЯТЬ НА ЯН. Такую инфу лучше читать на первоисточнике. На том же Яндекс. Там все расписано. Видео где проверить на ян. http://www.mani-mani-net.ru/%D0%B2%D0%B8%D0%B4%D0%B5%D0%BE-%D0%BE%D0%BD%D0%BB%D0%B0%D0%B9%D0%BD-%D1%83%D1%87%D0%B5%D0%B1%D0%BD%D0%BE%D0%B5?start=6
« Последнее редактирование: 21.07.2015, 20:03:04 от stendapuss »
*

Lopes-popes

  • Захожу иногда
  • 129
  • 1 / 0
Спасибо тебе, добрый человек, ценная инфа)))! хоть не много стало понятно с этим работом! Респект и здоровья тебе!
*

stendapuss

  • Давно я тут
  • 942
  • 20 / 0
  • Valera Stankevich
На форуме море подобных тем http://joomlaforum.ru/index.php?action=search2
*

peoplee

  • Захожу иногда
  • 239
  • 5 / 7
  • www.feldgrau.info
Здравствуйте уважаемые ГУРУ, вопрос такого плана - на почту пришло письмо следующего содержания:

Googlebot не может получить доступ к файлам CSS и JS на сайте http://feldgrau.info/

Веб-мастеру сайта http://feldgrau.info/

при этом файл роботс имеет такое содержимое:

# If the Joomla site is installed within a folder such as at
# e.g. www.example.com/joomla/ the robots.txt file MUST be
# moved to the site root at e.g. www.example.com/robots.txt
# AND the Joomla folder name MUST be prefixed to the disallowed
# path, e.g. the Disallow rule for the /administrator/ folder
# MUST be changed to read Disallow: /joomla/administrator/
#
# For more information about the robots.txt standard, see:
# http://www.robotstxt.org/orig.html
#
# For syntax checking, see:
# http://tool.motoricerca.info/robots-checker.phtml

User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/


Откуда Google взял эти папки? При проверке обнаружилось что да... отображается для Google не так как для пользователей.. чего нужно дописать или удалить? Движок 3ка.
*

stendapuss

  • Давно я тут
  • 942
  • 20 / 0
  • Valera Stankevich
Что отображается не так? В папке CSS пользователи не чего не видят. Они видят материал, картинки и как это отображается на сайте. Да и папка CSS роботу не нужна. Робот должен видеть контент и изображения. Откуда взял, папка шаблона не закрыта, от туда и взял в ней CSS папка.
Робот мог не получить доступ потому что в этот момент сайт был перегружен или не доступен ( как вариант). Проверьте страницы которые надо индексировать на сервисе ян и Google. Разрешены ли к индексу .
*

Alona de

  • Осваиваюсь на форуме
  • 34
  • 0 / 0
Правильной ли будет директива в роботс?  Disallow: /*all чтобы закрыть ссылки типа http://fmd-online.com/biblioteka/all/page2
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться
 

Как лучше прописать robots.txt?

Автор web1

Ответов: 2
Просмотров: 150
Последний ответ 25.07.2021, 21:38:12
от web1
Как сделать правильный редирект

Автор gadjet

Ответов: 23
Просмотров: 10656
Последний ответ 17.01.2021, 18:00:11
от Vasiliy111
Разные robots.txt

Автор yyyuuu

Ответов: 7
Просмотров: 290
Последний ответ 14.01.2021, 14:06:58
от rsn
Языки /en/ /ru/ проблема с входом в админку и редиректит на site.r/ru/robots.txt

Автор HolySong

Ответов: 0
Просмотров: 348
Последний ответ 10.07.2020, 13:12:46
от HolySong
Google Search Console, sitemap.xml и robots.txt

Автор Игарь

Ответов: 7
Просмотров: 537
Последний ответ 20.05.2020, 23:36:20
от Kostelano