Robots.txt

  • 11 Ответов
  • 383 Просмотров

0 Пользователей и 1 Гость просматривают эту тему.

Robots.txt
« : 28.03.2016, 22:00:10 »
Как скрыть robots.txt от любопытных глаз?
« Последнее редактирование: 28.03.2016, 22:07:56 от Evgenii_web »

*

Оффлайн Wertos

Re: Robots.txt
« Ответ #1 : 28.03.2016, 22:09:42 »
Отдавать через php только для ботов.

Re: Robots.txt
« Ответ #2 : 28.03.2016, 22:36:12 »
что то ничего не понял) а статья есть на эту тему?

*

Оффлайн Wertos

Re: Robots.txt
« Ответ #3 : 28.03.2016, 22:41:13 »
http://joomlaforum.ru/index.php?topic=136657.0 но на PHP проще мне кажеться

Re: Robots.txt
« Ответ #4 : 28.03.2016, 22:58:13 »
В предложенной теме (ссылке) нет решения

Re: Robots.txt
« Ответ #5 : 28.03.2016, 23:08:16 »
Отдавать через php только для ботов.
В предложенной теме (ссылке) нет решения
Решения, на мой взгляд, в принципе не существует. Если паранойя совсем достала, то не используйте роботс вообще (оставьте стандартный), пользуйтесь взамен тегами robots в HTML. По сути это одно и то же, даже надежнее. Только, ради Бога, не отдавайте роботс через php.
Ставь лайк, если согласен, и делай репост!

  => мои публикации
    => мои работы
      => спектр моих услуг

*

Оффлайн Wertos

Re: Robots.txt
« Ответ #6 : 28.03.2016, 23:17:26 »
robots.php
Код: (php) [Выделить]
<?php
$robots 
"текст robots.txt";
if(
testBot() === true) echo $robots;

functions testBot()
{
...........
}
?>

и реврайт в .htaccess

Re: Robots.txt
« Ответ #7 : 28.03.2016, 23:24:37 »
robots.php
Код: (php) [Выделить]
<?php
$robots 
"текст robots.txt";
if(
testBot() === true) echo $robots;

functions testBot()
{
...........
}
?>

и реврайт в .htaccess

Замечательная чушь!
Ставь лайк, если согласен, и делай репост!

  => мои публикации
    => мои работы
      => спектр моих услуг

*

Онлайн voland

  • ********
  • 9334
  • [+]520 / [-]101
  • СКАЙП утерян! Пишите в телеграм @volandku
    • Просмотр профиля
    • webstudio.pro
Re: Robots.txt
« Ответ #8 : 29.03.2016, 09:56:09 »
Зарыться в пещеру и отрезать провода!
Что за глупые вопросы вообще пошли?

*

Оффлайн Wertos

Re: Robots.txt
« Ответ #9 : 29.03.2016, 10:26:05 »
Замечательная чушь!
Предложи лучшее решение по этому вопросу, моё будет работать, я же не против

Re: Robots.txt
« Ответ #10 : 29.03.2016, 12:53:45 »
Предложи лучшее решение по этому вопросу, моё будет работать, я же не против

Ваш подход понятен, и для его реализации не требуется реврайт на PHP с последующим выводом через PHP текстового файла. Это можно проще, обычным рутинным способом, директивами в .htaccess:

RewriteCond %{HTTP_USER_AGENT} !(bot|spider|crawler|search|slurp|teoma|yandex|google) [NC]
RewriteRule robots\.txt - [F]

Однако определить бота по строке USER_AGENT, как я писал ранее, в принципе не возможно, потому что боты могут маскироваться под обычные браузеры, а это значит, что когда они придут на сайт и запросят robotx.txt, то получат "от ворот поворот" и будут индексировать всё, что встретят на своём пути, т.к. robots.txt для них будет закрыт.

А решение я предложил: не использовать robots.txt, взамен написать правила в файле шаблона, согласно которым в HTML будет выставляться:
<meta name="robots" content="none" />
« Последнее редактирование: 29.03.2016, 16:46:01 от Филипп Сорокин »
Ставь лайк, если согласен, и делай репост!

  => мои публикации
    => мои работы
      => спектр моих услуг

Re: Robots.txt
« Ответ #11 : 29.03.2016, 14:41:08 »
Вывод один- лучше его не трогать себе дороже, и надеяться что другие методы скрытия статьи сработают