Вопрос по robots.txt и видимости сайта роботами - Поисковая оптимизация, продвижение сайтов на Joomla (SEO)

Здравствуйте форумчане!

Вопрос по robots.txt и видимости сайта роботами.


Половина контента выводится через модуль 'HTML-код'

В robots.txt прописано:
Disallow: /modules/

Надо открыть эту папку для индексации контента поисковиками?

Думаю, ответ однозначен, что надо.
Только вопрос в том, где лежит контент из 'HTML-код', в какой папке?


Еще в роботе прописано:
Disallow: /components/

В этой папке лежит плагин shortcode, и контент на всех страницах выводится с его помощью, надо ли его тоже открыть поисковикам? Читал на просторах это поможет увидеть страницы поисковикам глазами юзеров..

Надо ли прописать:

Allow: /components/com_bdthemes_shortcodes ?


Еще вопрос
Сайт на gantry 5
components/com_gantry5
plugins/gantry5

Тоже закрыто dissalow

Не помешает ли это роботам видеть сайт "глазами пользователей" ?

Только вопрос в том, где лежит контент из 'HTML-код', в какой папке?

В базе данных.

на все 3 вопроса ответ - нет

Спасибо