0 Пользователей и 1 Гость просматривают эту тему.
  • 11 Ответов
  • 399 Просмотров
*

Evgenii_web

  • Осваиваюсь на форуме
  • 80
  • -1
Robots.txt
« : 28.03.2016, 20:00:10 »
Как скрыть robots.txt от любопытных глаз?
« Последнее редактирование: 28.03.2016, 20:07:56 от Evgenii_web »
*

Wertos

  • Завсегдатай
  • 505
  • 21
Re: Robots.txt
« Ответ #1 : 28.03.2016, 20:09:42 »
Отдавать через php только для ботов.
*

Evgenii_web

  • Осваиваюсь на форуме
  • 80
  • -1
Re: Robots.txt
« Ответ #2 : 28.03.2016, 20:36:12 »
что то ничего не понял) а статья есть на эту тему?
*

Wertos

  • Завсегдатай
  • 505
  • 21
Re: Robots.txt
« Ответ #3 : 28.03.2016, 20:41:13 »
http://joomlaforum.ru/index.php?topic=136657.0 но на PHP проще мне кажеться
*

Evgenii_web

  • Осваиваюсь на форуме
  • 80
  • -1
Re: Robots.txt
« Ответ #4 : 28.03.2016, 20:58:13 »
В предложенной теме (ссылке) нет решения
*

Филипп Сорокин

  • Практически профи
  • 1816
  • 138
Re: Robots.txt
« Ответ #5 : 28.03.2016, 21:08:16 »
Отдавать через php только для ботов.
В предложенной теме (ссылке) нет решения
Решения, на мой взгляд, в принципе не существует. Если паранойя совсем достала, то не используйте роботс вообще (оставьте стандартный), пользуйтесь взамен тегами robots в HTML. По сути это одно и то же, даже надежнее. Только, ради Бога, не отдавайте роботс через php.
Ставь лайк, если согласен, и делай репост!

  => мои публикации
    => мои работы
      => спектр моих услуг
*

Wertos

  • Завсегдатай
  • 505
  • 21
Re: Robots.txt
« Ответ #6 : 28.03.2016, 21:17:26 »
robots.php
Код: php
<?php
$robots = "текст robots.txt";
if(testBot() === true) echo $robots;

functions testBot()
{
...........
}
?>
и реврайт в .htaccess
*

Филипп Сорокин

  • Практически профи
  • 1816
  • 138
Re: Robots.txt
« Ответ #7 : 28.03.2016, 21:24:37 »
robots.php
Код: php
<?php
$robots = "текст robots.txt";
if(testBot() === true) echo $robots;

functions testBot()
{
...........
}
?>
и реврайт в .htaccess

Замечательная чушь!
Ставь лайк, если согласен, и делай репост!

  => мои публикации
    => мои работы
      => спектр моих услуг
*

voland

  • Профи
  • 9508
  • 422
  • Эта строка съедает место на вашем мониторе
Re: Robots.txt
« Ответ #8 : 29.03.2016, 07:56:09 »
Зарыться в пещеру и отрезать провода!
Что за глупые вопросы вообще пошли?
*

Wertos

  • Завсегдатай
  • 505
  • 21
Re: Robots.txt
« Ответ #9 : 29.03.2016, 08:26:05 »
Замечательная чушь!
Предложи лучшее решение по этому вопросу, моё будет работать, я же не против
*

Филипп Сорокин

  • Практически профи
  • 1816
  • 138
Re: Robots.txt
« Ответ #10 : 29.03.2016, 10:53:45 »
Предложи лучшее решение по этому вопросу, моё будет работать, я же не против

Ваш подход понятен, и для его реализации не требуется реврайт на PHP с последующим выводом через PHP текстового файла. Это можно проще, обычным рутинным способом, директивами в .htaccess:

Код
RewriteCond %{HTTP_USER_AGENT} !(bot|spider|crawler|search|slurp|teoma|yandex|google) [NC]
RewriteRule robots\.txt - [F]

Однако определить бота по строке USER_AGENT, как я писал ранее, в принципе не возможно, потому что боты могут маскироваться под обычные браузеры, а это значит, что когда они придут на сайт и запросят robotx.txt, то получат "от ворот поворот" и будут индексировать всё, что встретят на своём пути, т.к. robots.txt для них будет закрыт.

А решение я предложил: не использовать robots.txt, взамен написать правила в файле шаблона, согласно которым в HTML будет выставляться:
Код
<meta name="robots" content="none" />
« Последнее редактирование: 29.03.2016, 14:46:01 от Филипп Сорокин »
Ставь лайк, если согласен, и делай репост!

  => мои публикации
    => мои работы
      => спектр моих услуг
*

Evgenii_web

  • Осваиваюсь на форуме
  • 80
  • -1
Re: Robots.txt
« Ответ #11 : 29.03.2016, 12:41:08 »
Вывод один- лучше его не трогать себе дороже, и надеяться что другие методы скрытия статьи сработают
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться
 

Мета-тег robots, пара вопросов.

Автор nodrama

Ответов: 1
Просмотров: 306
Последний ответ 07.03.2016, 20:04:36
от cex263