0 Пользователей и 1 Гость просматривают эту тему.
  • 9 Ответов
  • 1048 Просмотров
*

iryewa

  • Осваиваюсь на форуме
  • 13
  • 0 / 0
Проблема с robots.txt
« : 30.01.2018, 05:53:01 »
Доброго времени суток. Имею сайт Joomla 3.8 .Файл robots.txt стандартный. Захожу в SeachConsole раздел Заблокированные ресурсы и вижу 50 страниц заблокированных и каждая связана от 46 до 1 страниц.
Все страницы - либо CSS, js компонентов или плагинов сторонних, которые были поставлены в процессе жизни сайта. Встает вопрос:
1. Влияет ли это на продвижение сайта, в хелпе написано что влияет.
2. Каким образом это исправлять ? Писать в robots.txt разрешения на каждую строку ? Или просто разрешить сканировать роботу всю папку /plagins/ и /modules/ ?
Типа :
Allow: /modules/mod_call_me_back_form/assets/js/jquery.maskedinput.min.js
Allow: /modules/mod_call_me_back_form/assets/js/jquery.maskedinput.min.js
Allow: /plugins/content/addtoany/addtoany.css
Но тогда ниже идет:
Disallow: /modules/
Disallow: /plugins/
Будет ли это корректно
И потом, если 3-4 строки - это еще как-то, но если строк 50 ?
*

antony2606

  • Давно я тут
  • 626
  • 46 / 4
  • Работаем!
Re: Проблема с robots.txt
« Ответ #1 : 30.01.2018, 06:37:22 »
Зачем открывать поисковикам файлы CSS и JS?! Не придумывайте себе проблем
*

kern.USR

  • Давно я тут
  • 827
  • 68 / 1
Re: Проблема с robots.txt
« Ответ #2 : 30.01.2018, 09:05:14 »
Зачем открывать поисковикам файлы CSS и JS?
Ну ка бы есть рекомендации https://1ps.ru/blog/dirs/ubiraem-oshibku-googlebot-ne-mozhet-poluchit-dostup-k-fajlam-css-i-js-na-sajte/
*

antony2606

  • Давно я тут
  • 626
  • 46 / 4
  • Работаем!
Re: Проблема с robots.txt
« Ответ #3 : 30.01.2018, 09:30:21 »
Ну ка бы есть рекомендации https://1ps.ru/blog/dirs/ubiraem-oshibku-googlebot-ne-mozhet-poluchit-dostup-k-fajlam-css-i-js-na-sajte/

Ага, прогуглил. Вообще, смысл тут есть. В таком случае пропишите директивы типа:

Allow: /*.css
Allow: /*.js
*

iryewa

  • Осваиваюсь на форуме
  • 13
  • 0 / 0
Re: Проблема с robots.txt
« Ответ #4 : 30.01.2018, 11:16:27 »
Дело в том, что инструмент, который предлагается  в
 https://1ps.ru/blog/dirs/ubiraem-oshibku-googlebot-ne-mozhet-poluchit-dostup-k-fajlam-css-i-js-na-sajte/
"несколько неудобен". При щелчке на заблокированный ресурс открывается страница связанных с этом ресурсом страниц и предлагается каждую ссылку пройти "Посмотреть как гугл-бот", затем ее отправить на сканирование. Получается 50 ресурсов по 46 страниц 2300 страниц и умножить на 3-4 операции -невозможно сосчитать.
А нет ли какого-то другого способа, менее затратного по времени ?
Спасибо что откликнулись.
*

kern.USR

  • Давно я тут
  • 827
  • 68 / 1
Re: Проблема с robots.txt
« Ответ #5 : 30.01.2018, 11:34:39 »
Если сайт небольшой, то вы можете его просканировать вот этим инструментом https://www.screamingfrog.co.uk/seo-spider/
И посмотреть, что он выдаст в этом поле, http://joxi.ru/bmo9JOBsMLdbKA
Так же там увидите, какие строки в вашем robots.txt блочат конкретный ресурс
*

iryewa

  • Осваиваюсь на форуме
  • 13
  • 0 / 0
Re: Проблема с robots.txt
« Ответ #6 : 30.01.2018, 11:52:17 »
Спасибо большое. Попробую разобраться.
*

iryewa

  • Осваиваюсь на форуме
  • 13
  • 0 / 0
Re: Проблема с robots.txt
« Ответ #7 : 30.01.2018, 13:21:12 »
Ну вообще то сайт небольшой.
http://777avto.kiev.ua
*

stendapuss

  • Давно я тут
  • 942
  • 20 / 0
  • Valera Stankevich
Re: Проблема с robots.txt
« Ответ #8 : 31.01.2018, 06:27:34 »
Allow: /modules/mod_call_me_back_form/assets/js/jquery.maskedinput.min.js
Allow: /modules/mod_call_me_back_form/assets/js/jquery.maskedinput.min.js
Allow: /plugins/content/addtoany/addtoany.css
Поменяйте местами, вы сначало разрешаете, потом закрываетее.
Disallow: /modules/
Disallow: /plugins/
типа:
Disallow: /modules/
Disallow: /plugins
Allow: /modules/mod_call_me_back_form/assets/js/jquery.maskedinput.min.js
Allow: /modules/mod_call_me_back_form/assets/js/jquery.maskedinput.min.js
Allow: /plugins/content/addtoany/addtoany.css
*

iryewa

  • Осваиваюсь на форуме
  • 13
  • 0 / 0
Re: Проблема с robots.txt
« Ответ #9 : 31.01.2018, 06:47:49 »
Спасибо за совет. Возможно это более логично. Сейчас попробую.
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться
 

Как лучше прописать robots.txt?

Автор web1

Ответов: 2
Просмотров: 156
Последний ответ 25.07.2021, 21:38:12
от web1
Правильный robots.txt? [вопросы/обсуждение]

Автор wishlight

Ответов: 445
Просмотров: 192145
Последний ответ 22.04.2021, 02:07:28
от bratsk12
Разные robots.txt

Автор yyyuuu

Ответов: 7
Просмотров: 295
Последний ответ 14.01.2021, 14:06:58
от rsn
Проблема с поисковиком

Автор Vismuth

Ответов: 6
Просмотров: 247
Последний ответ 09.11.2020, 13:51:26
от Vismuth
Языки /en/ /ru/ проблема с входом в админку и редиректит на site.r/ru/robots.txt

Автор HolySong

Ответов: 0
Просмотров: 349
Последний ответ 10.07.2020, 13:12:46
от HolySong