Что должно быть в robots. txt ?

sacrael

Новичок
4
0 / 0

Что должно быть в robots. txt ?

« : 03.12.2009, 15:13:53 »

Народ, что должно быть написано в robots.txt что бы сайт не запрещался к индексации.
У менятам написано следующее:
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/

Благодарю за помощь.

Записан

beliyadm

Легенда
9758
1665 / 66
Севастополь, Россия

Re: Что должно быть в robots. txt ?

« Ответ #1 : 03.12.2009, 15:20:09 »

то что стандартно написано - и должно быть.

Записан

Все истины, которые я хочу вам изложить, — бесстыдная ложь. Сделать всё хорошо
TLG: @Beliyadm

Re: Что должно быть в robots. txt ?

« Ответ #2 : 03.12.2009, 17:30:28 »

01   User-agent: *
02   Disallow: /administrator/
03   Disallow: /cache/
04   Disallow: /includes/
05   Disallow: /installation/
06   Disallow: /language/
07   Disallow: /libraries/
08   Disallow: /media/
09   Disallow: /modules/
10   Disallow: /plugins/
11   Disallow: /templates/
12   Disallow: /tmp/
13   Disallow: /xmlrpc/
14
15   User-agent: Yandex
16   Disallow: /administrator/
17   Disallow: /cache/
18   Disallow: /includes/
19   Disallow: /installation/
20   Disallow: /language/
21   Disallow: /libraries/
22   Disallow: /media/
23   Disallow: /modules/
24   Disallow: /plugins/
25   Disallow: /templates/
26   Disallow: /tmp/
27   Disallow: /xmlrpc/
28   Host: vash_sait.ru
29   Sitemap: http://vash_sait.ru/index.php?option=com_xmap&sitemap=1&view=xml&no_html=1

Записан

Роботу Googlebot заблокирован доступ в файле robots.txt Автор illimited	Ответов: 3 Просмотров: 4465	29.05.2022, 14:57:55 от web1
Правильный robots.txt? [вопросы/обсуждение] Автор wishlight	Ответов: 447 Просмотров: 224817	20.11.2021, 16:53:49 от Byzi
Как лучше прописать robots.txt? Автор web1	Ответов: 2 Просмотров: 1614	25.07.2021, 21:38:12 от web1
Разные robots.txt Автор yyyuuu	Ответов: 7 Просмотров: 1489	14.01.2021, 14:06:58 от rsn
Языки /en/ /ru/ проблема с входом в админку и редиректит на site.r/ru/robots.txt Автор HolySong	Ответов: 0 Просмотров: 1364	10.07.2020, 13:12:46 от HolySong

Что должно быть в robots. txt ? - Поисковая оптимизация, продвижение сайтов на Joomla (SEO)

Новости Joomla

Вышли релизы безопасности Joomla 6.1.1 и Joomla 5.4.6

👩‍💻 JoomShopping: Самый полный курс по созданию интернет-магазина на CMS Joomla.

👩‍💻 SM WT CDEK аддон доставки для JoomShopping.

sacrael

Что должно быть в robots. txt ?

beliyadm

Re: Что должно быть в robots. txt ?

Re: Что должно быть в robots. txt ?

Похожие темы