0 Пользователей и 1 Гость просматривают эту тему.
  • 3 Ответов
  • 309 Просмотров
*

Millenium_3000

  • Осваиваюсь на форуме
  • 120
  • 0
Google ругается на файл роботс, мол тот блокирует важные страницы. Всего на сайте около 830 страниц из низ 30% блокируется файлом (по Googleу. Сайтмап делал в обычном генераторе и с ним вроде все ок. Но что не так с самим файлом роботс и что Google в нем не нравится? Подскажите пожалуйста.

Спойлер
[свернуть]
*

voland

  • Профи
  • 9500
  • 422
  • Эта строка съедает место на вашем мониторе
А Google тоже скрывает адреса тех страниц, что запрещены к индексации?
*

Millenium_3000

  • Осваиваюсь на форуме
  • 120
  • 0
А Google тоже скрывает адреса тех страниц, что запрещены к индексации?

да
*

ipugach

  • Захожу иногда
  • 22
  • 0
Была такая же проблема, добавил в файл для гугла:

User-agent: GoogleBot
Allow: /modules/mod_icemegamenu/themes/default/css/default_icemegamenu.css
Allow: /modules/mod_icemegamenu/themes/default/css/default_icemegamenu-reponsive.css
Allow: /plugins/system/smoothtop/images/up-arrow.gif
Allow: /plugins/content/jw_allvideos/jw_allvideos/tmpl/Responsive/css/template.css
Allow: /plugins/content/jw_allvideos/jw_allvideos/includes/js/jwp.js.php?v=4.7.0
Allow: /plugins/content/jw_allvideos/jw_allvideos/includes/js/jwplayer/jwplayer.js?v=4.7.0
Allow: /libraries/cegcore/assets/gplugins/gsliders/gsliders.js
Allow: /libraries/cegcore/assets/gplugins/gmodal/gmodal.css
Allow: /libraries/cegcore/assets/bootstrap/css/bootstrap.css
Allow: /libraries/cegcore/assets/gplugins/gtabs/gtabs.js
Allow: /libraries/cegcore/assets/gplugins/gvalidation/gvalidation.css
Allow: /libraries/cegcore/assets/jquery/jquery.inputmask.js
Allow: /libraries/cegcore/assets/gplugins/gtooltip/gtooltip.js
Allow: /libraries/cegcore/assets/gplugins/gtabs/gtabs.css
Allow: /libraries/cegcore/assets/jquery/jquery.js
Allow: /libraries/cegcore/assets/gplugins/gdropdown/gdropdown.js
Allow: /libraries/cegcore/assets/bootstrap/css/bootstrap-gcore.css
Allow: /libraries/cegcore/extensions/editors/assets/tinymce/tinymce.min.js
Allow: /libraries/cegcore/assets/gplugins/gmodal/gmodal.js
Allow: /libraries/cegcore/assets/gplugins/gvalidation/gvalidation.js
Allow: /libraries/cegcore/assets/gplugins/gdropdown/gdropdown.css
Allow: /libraries/cegcore/assets/gplugins/gtooltip/gtooltip.css
Allow: /libraries/cegcore/assets/font_awesome/css/font-awesome.css
Allow: /libraries/cegcore/assets/gplugins/gvalidation/lang/ru.js
Allow: /libraries/cegcore/assets/gplugins/gsliders/gsliders.css
Allow: /libraries/cegcore/assets/bootstrap/css/bootstrap-theme.css
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/ 
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться
 

Правильный robots.txt? [вопросы/обсуждение]

Автор wishlight

Ответов: 422
Просмотров: 174150
Последний ответ 04.08.2017, 13:37:03
от Stasweb
Избавляемся от дублей страниц с помощью 301 редиректа

Автор Efanych

Ответов: 193
Просмотров: 85172
Последний ответ 16.06.2017, 14:37:34
от threemonkeys
Расширенные описания страниц в Joomla (микроданные, микроформаты, RDFa, schema.org)

Автор ELLE

Ответов: 148
Просмотров: 86829
Последний ответ 05.06.2017, 22:44:46
от korkka44
Googlebot, robots.txt и кэш

Автор Paradox

Ответов: 4
Просмотров: 274
Последний ответ 30.05.2017, 13:24:12
от Paradox
Внешнюю ссылку на всех страницах, не забирая вес страниц?

Автор User82

Ответов: 3
Просмотров: 140
Последний ответ 25.04.2017, 09:55:53
от Missile