Блокирование страниц в файле robots.txt

  • 3 Ответов
  • 266 Просмотров

0 Пользователей и 1 Гость просматривают эту тему.

Google ругается на файл роботс, мол тот блокирует важные страницы. Всего на сайте около 830 страниц из низ 30% блокируется файлом (по Googleу. Сайтмап делал в обычном генераторе и с ним вроде все ок. Но что не так с самим файлом роботс и что Google в нем не нравится? Подскажите пожалуйста.

Спойлер
[свернуть]

*

Оффлайн voland

  • ********
  • 9334
  • [+]520 / [-]101
  • СКАЙП утерян! Пишите в телеграм @volandku
    • Просмотр профиля
    • webstudio.pro
А Google тоже скрывает адреса тех страниц, что запрещены к индексации?

А Google тоже скрывает адреса тех страниц, что запрещены к индексации?

да

*

Оффлайн ipugach

Была такая же проблема, добавил в файл для гугла:

User-agent: GoogleBot
Allow: /modules/mod_icemegamenu/themes/default/css/default_icemegamenu.css
Allow: /modules/mod_icemegamenu/themes/default/css/default_icemegamenu-reponsive.css
Allow: /plugins/system/smoothtop/images/up-arrow.gif
Allow: /plugins/content/jw_allvideos/jw_allvideos/tmpl/Responsive/css/template.css
Allow: /plugins/content/jw_allvideos/jw_allvideos/includes/js/jwp.js.php?v=4.7.0
Allow: /plugins/content/jw_allvideos/jw_allvideos/includes/js/jwplayer/jwplayer.js?v=4.7.0
Allow: /libraries/cegcore/assets/gplugins/gsliders/gsliders.js
Allow: /libraries/cegcore/assets/gplugins/gmodal/gmodal.css
Allow: /libraries/cegcore/assets/bootstrap/css/bootstrap.css
Allow: /libraries/cegcore/assets/gplugins/gtabs/gtabs.js
Allow: /libraries/cegcore/assets/gplugins/gvalidation/gvalidation.css
Allow: /libraries/cegcore/assets/jquery/jquery.inputmask.js
Allow: /libraries/cegcore/assets/gplugins/gtooltip/gtooltip.js
Allow: /libraries/cegcore/assets/gplugins/gtabs/gtabs.css
Allow: /libraries/cegcore/assets/jquery/jquery.js
Allow: /libraries/cegcore/assets/gplugins/gdropdown/gdropdown.js
Allow: /libraries/cegcore/assets/bootstrap/css/bootstrap-gcore.css
Allow: /libraries/cegcore/extensions/editors/assets/tinymce/tinymce.min.js
Allow: /libraries/cegcore/assets/gplugins/gmodal/gmodal.js
Allow: /libraries/cegcore/assets/gplugins/gvalidation/gvalidation.js
Allow: /libraries/cegcore/assets/gplugins/gdropdown/gdropdown.css
Allow: /libraries/cegcore/assets/gplugins/gtooltip/gtooltip.css
Allow: /libraries/cegcore/assets/font_awesome/css/font-awesome.css
Allow: /libraries/cegcore/assets/gplugins/gvalidation/lang/ru.js
Allow: /libraries/cegcore/assets/gplugins/gsliders/gsliders.css
Allow: /libraries/cegcore/assets/bootstrap/css/bootstrap-theme.css
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/ 
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/