robots.txt добавить не существующие папки

  • 7 Ответов
  • 371 Просмотров

0 Пользователей и 1 Гость просматривают эту тему.

*

Оффлайн glebka

Поисковики негативно не отреагируют если я в robots.txt пропишу папки для Wordpressа или битрикса или что-то левое? :o :D :D
Делаю, для того, чтобы любопытные запутались)) ;D

*

Оффлайн flyingspook

Нет, главное что бы у вас таких же не было и в дальнейшем не появилось, а то индексацию себе закроете.

*

Оффлайн glebka

таких же не было

в смысле?

*

Оффлайн flyingspook

в смысле?
Папок на сайте, нет и не появится которые вы в роботс запретить хотите.

*

Оффлайн glebka

В общем сделал такой robots.txt

User-agent: *
Disallow: /wp-admin
Disallow: /administrator/
Disallow: /bitrix/
Disallow: /bitrix/admin
Disallow: /upload/
Disallow: /search/
Disallow: /cache/
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /cli/
Disallow: /includes/
Disallow: /wp-content/themes
Disallow: /components/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/

А то, что я создал папки админки Wordpressа и битрикса пустые (с index.html) и запаролил их в .htaccess ничего страшного для поисковика??

*

Оффлайн flyingspook

А зачем их создавать, если не секрет расскажите? Хватит просто запрета на индексацию прописать.

*

Оффлайн glebka

дело житейское, к вопросам продвижения или же защиты сайта оно не относится.
была дискуссия какая cms у меня, тех кто проверяет что за cms у меня фаервол банит их, ну я и ржу с них)) странно, но пока никто не просёк Joomla :laugh:

а про robots.txt, логи почему то большие пошли по этим папкам после того как в нём их прописал, ну вот и всё)

*

Оффлайн flyingspook

а про robots.txt, логи почему то большие пошли по этим папкам после того как в нём их прописал, ну вот и всё)
Так сами и указали пути к не существующим путям.