0 Пользователей и 1 Гость просматривают эту тему.
  • 9 Ответов
  • 1556 Просмотров
*

Shademy

  • Захожу иногда
  • 139
  • 1 / 0
  • tat-farmer.ru
Подскажите каким образом можно скрыть сайт от яндекса, гугла и т.д.Не имею ввиду ссылки а весь сайт, причина в том что пока не прикрепил домен к сайту.Спасибо за подсказки.
*

Apoca1ypto

  • Давно я тут
  • 749
  • 71 / 0
В корне сайта создайте файл robots.txt с содержимым:
Цитировать
User-agent: *
Disallow: /
Во время спора в Интернете Ваш оппонент приводит неопровержимые доказательства своей точки зрения? Не отчаивайтесь. До...тесь до орфографии.
*

Shademy

  • Захожу иногда
  • 139
  • 1 / 0
  • tat-farmer.ru
В корне сайта создайте файл robots.txt с содержимым:
А что делать со стандартным?
*

Apoca1ypto

  • Давно я тут
  • 749
  • 71 / 0
А что делать со стандартным?
Удалите его с сервера оставив себе копию или просто переименуйте.
Во время спора в Интернете Ваш оппонент приводит неопровержимые доказательства своей точки зрения? Не отчаивайтесь. До...тесь до орфографии.
*

flyingspook

  • Живу я здесь
  • 3590
  • 247 / 9
*

Shademy

  • Захожу иногда
  • 139
  • 1 / 0
  • tat-farmer.ru
HTTP авторизацию на весь сайт(корневую папку) поставьте
Спасибо за помощь.Удачи вам.С новым годом и пусть он принесёт вам только радостные дни :)
*

AlekVolsk

  • Гуру
  • 6913
  • 415 / 4
В общих настройках системы Мета-тег Robots => no index, no follow - и Яндекс гарантированно больше не индексирует сайт, за Google не скажу - не тестил
*

Valerko_O

  • Захожу иногда
  • 177
  • 12 / 0
  • Ничто так не помогает сделать выбор, как пытки...
Google то же не индексирует при таком ходе событий.
В общих настройках системы Мета-тег Robots => no index, no follow - и Яндекс гарантированно больше не индексирует сайт, за Google не скажу - не тестил
*

sprint007

  • Осваиваюсь на форуме
  • 29
  • 0 / 0
Когда дорабатывал сайт пользовался таким методом в .htaccess, понравилось то что метод именно запрещает доступ а не дает рекомендации как робот.тхт, можно я так понимаю дописать других ботов предварительно посмотрев в инете как они представляются.

Код
SetEnvIfNoCase User-Agent "^Googlebot" search_bot
SetEnvIfNoCase User-Agent "^Yandex" search_bot
SetEnvIfNoCase User-Agent "^Yahoo" search_bot

<FilesMatch "^.*$">
Order Allow,Deny
Allow from all
Deny from env=search_bot
</FilesMatch>
*

Hotos

  • Осваиваюсь на форуме
  • 20
  • 1 / 0
  • Abyssus abyssum invocat
Когда дорабатывал сайт пользовался таким методом в .htaccess, понравилось то что метод именно запрещает доступ а не дает рекомендации как робот.тхт, можно я так понимаю дописать других ботов предварительно посмотрев в инете как они представляются.

Код
SetEnvIfNoCase User-Agent "^Googlebot" search_bot
SetEnvIfNoCase User-Agent "^Yandex" search_bot
SetEnvIfNoCase User-Agent "^Yahoo" search_bot

<FilesMatch "^.*$">
Order Allow,Deny
Allow from all
Deny from env=search_bot
</FilesMatch>

А чем "запрещает доступ" отличается от "дает рекомендации" для поисковиков?
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться
 

Как продвигать сайт! (интернет-магазин)?

Автор Kooll5

Ответов: 31
Просмотров: 5909
Последний ответ 07.02.2023, 13:59:57
от Ратник
Расширение от индексации поисковиками внешних ссылок

Автор THE KILLERS

Ответов: 6
Просмотров: 1116
Последний ответ 11.03.2022, 16:02:10
от NewUsers
Закрыть страницу со знаком? от индексации

Автор Андрей Нестеров

Ответов: 2
Просмотров: 918
Последний ответ 28.02.2022, 22:38:44
от Андрей Нестеров
Один сайт, доступный через два домена (зеркало?)

Автор slepoy

Ответов: 2
Просмотров: 1163
Последний ответ 20.11.2021, 17:50:48
от Byzi
Не дело это - закрывать от индексации страницы с пагинацией

Автор ChaosHead

Ответов: 48
Просмотров: 10727
Последний ответ 04.11.2021, 06:44:26
от Slava77