Googlebot не может получить доступ к файлам CSS и JS на сайте - Поисковая оптимизация, продвижение сайтов на Joomla (SEO)

Вдруг откуда не возьмись на нашу почту от инструментов Google полезли сообщения сразу про все наши сайты.

"Googlebot не может получить доступ к файлам CSS и JS на сайте

Мы обнаружили на Вашем сайте проблему, которая может помешать его сканированию. Робот Googlebot не может обработать код JavaScript и/или файлы CSS из-за ограничений в файле robots.txt. Эти данные нужны, чтобы оценить работу сайта."

Блин ну задолбал уже реально. напишите им кто-нить пусть перестанут фигней заниматься. Обещают твари ухудшить позиции в поиске если не сделать.

Сначала полезли сообщения ваш сайт недостаточно хорош на мобильный устройствах, хотя все сайты сделаны на клубных лицензионных шаблонах и  имеют прекрасную мобильную версию. Сейчас новую фигню требует, доступ к файлам CSS и JS на сайте.

Подскажите как дать им доступ? я так понимаю но закрыт в роботс строкой disallow: /templates/  ? или нет?

Да и на кой фиг эти файлы им уперлись? в каждом шаблоне куча этих файлов и все в разных папках с разной структурой, рехнешся прописывать их в роботс в куче сайтов.

+1. Тоже получил такое письмо. И тоже не понял нафига

Ну, удалите строчку disallow: /templates/ 
Или пропишите Allow: /путь до папок CSS и js

В robots после всех disallow пропишите:
Allow: /media/*.css
Allow: /media/*.js
Allow: /modules/*.css
Allow: /modules/*.js
Allow: /components/*.css
Allow: /components/*.js
Allow: /plugins/*.css
Allow: /plugins/*.js
Allow: /templates/*.css
Allow: /templates/*.js

Allow: /templates/*.woff
Allow: /templates/*.woff2
Allow: /templates/*.eot
Allow: /templates/*.ttf
Allow: /templates/*.svg
Allow: /templates/*.png
Allow: /templates/*.jpg
Allow: /templates/*.jpeg
Allow: /templates/*.gif

Ненужные (неиспользуемые внутри шаблона) расширения шрифтов и картинок уберите

Спасибо, добавил. Бум надеяться, что его "устроит".

Я думаю а имеет ли смысл открывать если сайт сделан на купленном неуникальном шаблоне и купленных неуникальных расширениях. Ведь это получаются неуникальные CSS и js файлы? Им они нужны чтобы, как они пишут, "оценить работу сайта", и они сразу - ага, неуникальные файлы, занизить сайт.

Хотя возможно ошибаюсь.

Я думаю а имеет ли смысл открывать если сайт сделан на купленном неуникальном шаблоне и купленных неуникальных расширениях. Ведь это получаются неуникальные CSS и js файлы? Им они нужны чтобы, как они пишут, "оценить работу сайта", и они сразу - ага, неуникальные файлы, занизить сайт.

Хотя возможно ошибаюсь.

Ну как бы содержимое файлов CSS и JS не является "полезным контентом", это скорее инструмент для удобного отображения контента. Я открыл на своем блоге эти файлы для бота уже очень давно, месяца 3 назад и ничего страшного не произошло.

В robots после всех disallow пропишите:
Allow: /media/*.css
Allow: /media/*.js
Allow: /modules/*.css
Allow: /modules/*.js
Allow: /components/*.css
Allow: /components/*.js
Allow: /plugins/*.css
Allow: /plugins/*.js
Allow: /templates/*.css
Allow: /templates/*.js

Allow: /templates/*.woff
Allow: /templates/*.woff2
Allow: /templates/*.eot
Allow: /templates/*.ttf
Allow: /templates/*.svg
Allow: /templates/*.png
Allow: /templates/*.jpg
Allow: /templates/*.jpeg
Allow: /templates/*.gif

Ненужные (неиспользуемые внутри шаблона) расширения шрифтов и картинок уберите

А если сократить до
Allow: /*.css
Allow: /*.js

Будет не тот же эффект?

Да, тоже интересно?

вот тут 50/50, не всегда прокатывает, поскольку сами папки предварительно закрыты

А что никто не пользуется инстументами проверки в вебмастере (есть и в Google и в яше), зачем ждать и гадать, когда можно проверить?

А что никто не пользуется инстументами проверки в вебмастере (есть и в Google и в яше), зачем ждать и гадать, когда можно проверить?

Кэп

В robots после всех disallow пропишите:

Вроде Allow ПЕРЕД disallow прописываются

А можно просто строку Disallow: /templates/ удалить? Или что-то стрррррашное произойдет?
У меня шаблон весьма навороченный, с несколькими стилями CSS и прочими заковырками, которые, вполне возможно, и замедляют загрузку сайта на какие-нибудь там доли секунды.
Яндекс, кстати, ничем подобным не страдает? Я его в папку с шаблонами тоже не пускаю.

Мне кажется, что Гуугл просто отрабатывает свои новые спецификации и заставляет всех под них подстроиться, т.к. раньше их роботы совсем не парились над тем, "как видит ваш сайт поисковый робот" (из инструментов вебмастера), а теперь это им важно... зачем -- не понятно... скорость индексирования сайта от этого будет расти (увеличиваться), а заодно будут чьи-то варезные шаблоны проверяться на копирайты (в CSS везде стоят копирайты авторов платных шаблонов)

сори за офтоп

в CSS везде стоят копирайты авторов платных шаблонов

У меня не варез, но и копирайтов в ксс и скриптах нет

@AlekVolsk
Это не упрек в чей-то адрес, а скорее предостережение о возможных последствиях. Каждый уже решает сам.

Да, и как они определят по копирайтам варез-не варез? у меня все лицензионное - но везде стоят копирайты. Вспринципе на варезных шаблонах не написано что они варезные

Добавил параметры чисто для гугла:

Проверил в вебмастере: Просмотреть как Googlebot - все чисто кроме скриптов счетчиков и он-лайн консультантов, то есть сторонних скриптов и стилей, которые грузятся с других сайтов и я не могу на них повлиять

люди а можно выставить  в корне сайта права 444 на файлы:

.htaccess
index.php
configuration.php

люди а можно выставить  в корне сайта права 444 на файлы:

.htaccess
index.php
configuration.php

Можно. Только какое отношение это имеет к теме?

Я думаю а имеет ли смысл открывать если сайт сделан на купленном неуникальном шаблоне и купленных неуникальных расширениях. Ведь это получаются неуникальные CSS и js файлы? Им они нужны чтобы, как они пишут, "оценить работу сайта", и они сразу - ага, неуникальные файлы, занизить сайт.

Это бред.

Тоже открыл, ну хочет видеть что там, смотри...

И ошибок Посмотреть как гуглбот не стало. Может как то круче станем