Новости Joomla

Компонент Joomla 6: Генератор LLMs.txt.

Компонент Joomla 6: Генератор LLMs.txt.

Компонент Joomla 6: Генератор LLMs.txt.

Ещё один генератор ИИ-файлов llms.txt и llms-full.txt.

Основные особенности/возможности компонента:

  • Генерация по стандарту: Автоматическое создание файла-визитки llms.txt и расширенной версии llms-full.txt с аннотированным списком материалов.
  • Интеллектуальная работа с контентом: Компонент использует мета-описания (Meta Description) из статей и пунктов меню, превращая SEO-настройки сайта в качественный контекст для нейросетей.
  • Просмотреть результат генерации файлов можно сразу в рабочей области компонента. После внесения корректив (через Настройки компонента. При отладке лучше открыть три вкладки в браузере: Настройка — Геренация/Превью — Список Материалов/Категории/Меню.) — проводим перегенерацию, смотрим результат до полной «победы».
  • Автоматизация и безопасность: Синхронизация с sitemap.xml, группировка по категориям и автоматическое создание резервных копий (.bak) при каждой генерации.
  • Гибкое управление: Возможность исключения определенных категорий и/или статей и/или пунктов меню, а также простая настройка через стандартную админпанель Joomla.
  • Подробное руководство/справка: Пошаговая инструкция для пользователя в Настройках компонента для редакторов с базовым знанием администрирования Joomla.

👉 Важно учесть.
1️⃣ Компонент Генератор LLMs.txt изначально составляет базовый список ссылок на основе sitemap.xml и сверяется с ним на предмет: запрета индексации url в robots.txt, тегов noinex/nofollow. Это экономит время на проверку «закрыть от индексации», поскольку компонент генерации Sitemap.xml уже реализовал эту задачу. Посему, формирование ссылок для ИИ имеет комплексный подход, составление грамотного/валидного/релевантного sitemap.xml никто не отменял.

2️⃣ Тексты-описания ссылок формируются из Meta Description com_content (только компонент Материалы) и выбранных пользователем Меню сайта. Важно, чтобы Meta Description были уникальными и релевантными, соответствовали базовому seo. Составленные «на отшибись» Description для ИИ — «не катит» (впрочем, для поисковых систем они тоже «не канали»).

Разработчик - участник нашего сообщества Александр Кузнецов (@newvksan).

Страница расширения

@joomlafeed

#joomla #ии #ai

👩‍💻 WT LLMs для Joomla: llms.txt, llms.json для AI-агентов.

👩‍💻 WT LLMs для Joomla: llms.txt, llms.json для AI-агентов.

Это Joomla-компонент для публикации AI-ready карты сайта и автоматической генерации файлов llms.txt, llms-full.txt и llms.json по концепции llmstxt.org.  Также о концепции llms.txt говорит Google в своей справке Lighthouse. Решение помогает LLM-моделям, AI-агентам, GEO/AI SEO-процессам и внутренним автоматизациям получать структурированные данные о сайте без ручной сборки JSON и Markdown.

С помощью WT LLMs можно:
- создать структурированное описание сайта для AI-агентов;
- управлять профилем сайта, картой интентов и каноническими страницами для этих интентов из админки Joomla;
- генерировать llms.txt и llms.json;
- использовать REST API для автоматического заполнения данных;
- отдавать публичную schema-инструкцию для AI-агентов;

В комплект компонента входит плагин markdown-версии страниц Joomla. Системный плагин Joomla, который добавляет альтернативное Markdown-представление страниц сайта. Он позволяет отдавать содержимое страницы в более чистом текстовом формате, удобном для AI-агентов, LLM, поисковых систем и технических интеграций.
Плагин добавляет в ссылки на AI-файлы.

Пакет подходит для сайтов на Joomla 5+, которым важно сделать контент понятнее для LLM, AI-поиска, ассистентов и будущих систем машинного чтения.

Видео:
- ВК Видео
- RuTube
- YouTube

Ссылки:
Страница расширения
GitHub

@joomlafeed

0 Пользователей и 2 Гостей просматривают эту тему.
  • 194 Ответов
  • 27819 Просмотров
*

sm_denis

  • Захожу иногда
  • 441
  • 36 / 2
никак не могу понять. вот из лога:

[blocked-uri] => http://awaps.yandex.ru
[source-file] => http://mc.yandex.ru

т.е. я просто про сам принцип - надо указывать и разрешенные для разрешенных? или как? понятно, что в данном случае можно указать *.yandex.ru. но а если он решит обратится не на свой домен?

Не знаю точно, предположу.

Если mc грузит awaps, то браузер должен уже смотреть на политики из mc, и если они позволяют то передают на обработку "выше".
В этом случае можно доверять обоим и придется оба добавлять.

Как я понял awaps - это реклама с Яндекса?


----
Код
*.google.com:*
Дыа, это лаконичнее будет, только доп протоколы захватываем.


------------------

У меня вот такой вопрос назрел
Если у нас есть правило *.site.com -это значит только для поддоменов или site.com тоже включается.

Иначе получается что нужно писать обе строки
*.site.com:*
site.com:*







*

sm_denis

  • Захожу иногда
  • 441
  • 36 / 2
Это интересно.

Сегодня на сайт зашел робот метрики и отправил отчет.


Самое забавное что
 - это все же робот, а не браузер.
 - отчет пришел через POST, а не в привычный php://input
 - в отчете совершенно ничего полезного нет.

Совершенно непонятно зачем он это делает.
*

dmitry_stas

  • Легенда
  • 13151
  • 1234 / 8
можно попробовать вот такую конструкцию:
*.google.com:*

предположение не подтвердилось. вернее, подтвердилось не полностью. не знаю, от чего зависит, видимо от браузера, но иногда в логах остается вот такое:
Цитировать
[violated-directive] => frame-src http://www.youtube.com:*
хотя в заголовке это выглядит как
Цитировать
"frame-src 'self' www.youtube.com:*;"
, т.е. никакого http в помине нет. соответственно, из-за этого имеем
Цитировать
[blocked-uri] => https://www.youtube.com/
итого, надо указывать оба: https://www.youtube.com www.youtube.com
Тут дарят бакс просто за регистрацию! Успей получить!
Все советы на форуме раздаю бесплатно, то есть даром. Индивидуально бесплатно консультирую только по вопросам стоимости индивидуальных консультаций
*

sm_denis

  • Захожу иногда
  • 441
  • 36 / 2
 ... кроссбраузерность ...

В итоге нужно смотреть версии браузеров в статистике своего сайта и смотреть поддержку CSP например так https://csptesting.herokuapp.com/
Скорее всего старые и мобильные не полностью поддерживают *

*

daddy

  • Захожу иногда
  • 141
  • 2 / 0
Есть какие-нибудь новости с фронта? Или уже миновала опасность?
*

sm_denis

  • Захожу иногда
  • 441
  • 36 / 2
Есть какие-нибудь новости с фронта? Или уже миновала опасность?

Всех "отпустило" и тема приелась))
Мой последний вариант csp можно глянуть на любом моем сайте, например jblank.pro
*

daddy

  • Захожу иногда
  • 141
  • 2 / 0
А вы можете здесь выложить этот последний вариант?
*

sm_denis

  • Захожу иногда
  • 441
  • 36 / 2
Код
default-src
<ВАШ_ДОМЕН>
*;

script-src
<ВАШ_ДОМЕН>
'unsafe-eval'
'unsafe-inline'
http://disqus.com
http://*.disqus.com
https://disqus.com
https://*.disqus.com
http://disquscdn.com
http://*.disquscdn.com
https://disquscdn.com
https://*.disquscdn.com
http://facebook.com
http://*.facebook.com
https://facebook.com
https://*.facebook.com
http://facebook.net
http://*.facebook.net
https://facebook.net
https://*.facebook.net
http://google-analytics.com
http://*.google-analytics.com
https://google-analytics.com
https://*.google-analytics.com
http://google.com
http://*.google.com
https://google.com
https://*.google.com
http://googleapis.com
http://*.googleapis.com
https://googleapis.com
https://*.googleapis.com
http://gstatic.com
http://*.gstatic.com
https://gstatic.com
https://*.gstatic.com
http://jbzoo.ru
http://*.jbzoo.ru
https://jbzoo.ru
https://*.jbzoo.ru
http://linkedin.com
http://*.linkedin.com
https://linkedin.com
https://*.linkedin.com
http://twimg.com
http://*.twimg.com
https://twimg.com
https://*.twimg.com
http://twitter.com
http://*.twitter.com
https://twitter.com
https://*.twitter.com
http://userapi.com
http://*.userapi.com
https://userapi.com
https://*.userapi.com
http://vk.com
http://*.vk.com
https://vk.com
https://*.vk.com
http://vkontakte.ru
http://*.vkontakte.ru
https://vkontakte.ru
https://*.vkontakte.ru
http://yandex.ru
http://*.yandex.ru
https://yandex.ru
https://*.yandex.ru
http://yandex.st
http://*.yandex.st
https://yandex.st
https://*.yandex.st;

style-src
<ВАШ_ДОМЕН>
'unsafe-inline'
*
http://twitter.com
http://*.twitter.com
https://twitter.com
https://*.twitter.com;

connect-src
<ВАШ_ДОМЕН>
'self'
http://google-analytics.com
http://*.google-analytics.com
https://google-analytics.com
https://*.google-analytics.com
http://twimg.com
http://*.twimg.com
https://twimg.com
https://*.twimg.com
http://yandex.ru
http://*.yandex.ru
https://yandex.ru
https://*.yandex.ru;

font-src
<ВАШ_ДОМЕН>
'self'
http://googleapis.com
http://*.googleapis.com
https://googleapis.com
https://*.googleapis.com
http://gstatic.com
http://*.gstatic.com
https://gstatic.com
https://*.gstatic.com;

object-src
<ВАШ_ДОМЕН>
'self'
http://google.com
http://*.google.com
https://google.com
https://*.google.com
http://gstatic.com
http://*.gstatic.com
https://gstatic.com
https://*.gstatic.com
http://yandex.ru
http://*.yandex.ru
https://yandex.ru
https://*.yandex.ru;

media-src
<ВАШ_ДОМЕН>
'self';

frame-src
<ВАШ_ДОМЕН>
'self'
http://adminer.org
http://*.adminer.org
https://adminer.org
https://*.adminer.org
http://disqus.com
http://*.disqus.com
https://disqus.com
https://*.disqus.com
http://facebook.com
http://*.facebook.com
https://facebook.com
https://*.facebook.com
http://facebook.net
http://*.facebook.net
https://facebook.net
https://*.facebook.net
http://ghbtns.com
http://*.ghbtns.com
https://ghbtns.com
https://*.ghbtns.com
http://google.com
http://*.google.com
https://google.com
https://*.google.com
http://linkedin.com
http://*.linkedin.com
https://linkedin.com
https://*.linkedin.com
http://twitter.com
http://*.twitter.com
https://twitter.com
https://*.twitter.com
http://vk.com
http://*.vk.com
https://vk.com
https://*.vk.com
http://vkontakte.ru
http://*.vkontakte.ru
https://vkontakte.ru
https://*.vkontakte.ru
http://yandex.ru
http://*.yandex.ru
https://yandex.ru
https://*.yandex.ru
http://yastatic.net
http://*.yastatic.net
https://yastatic.net
https://*.yastatic.net
http://youtube.com
http://*.youtube.com
https://youtube.com
https://*.youtube.com;

report-uri
<ВАША_ССЫЛКА_ДЛЯ_ОТЧЕТОВ>

 - Адреса собирал из своих логов поэтому они подходят только мне
 - Все прописывать в default-src я еще не готов ибо обкатываю...
 - Разрешенные домены пришлось повторить в 4 строки каждый (http(s) + домен + поддомен)
 - - синтаксис вида *.site.com:* понимают далеко не все браузеры
 - - *.site.com и site.com - у некоторых браузеров это разные вещи, в принципе это правильно, но неудобно.

у меня эта песня формируется через специальный класс, поэтому в коде выглядит очень просто
+ массив валидируется и нашпиговывается модификаторами (+ протокол, + поддомены, +свой домен, + перманентный список своих доменов, проверка на уникальность, сортировка и группировки. итд ) ну и рендерится в строку


если будет время, выложу на гитхаб, но думаю подобные костыли есть и у других =)
« Последнее редактирование: 12.10.2014, 00:04:23 от sm_denis »
*

sm_denis

  • Захожу иногда
  • 441
  • 36 / 2
По наблюдениям за прошедшую неделю - у меня в метрике только 2 левых перехода встретилось.
Not bad...   :dry:
*

daddy

  • Захожу иногда
  • 141
  • 2 / 0
*

sm_denis

  • Захожу иногда
  • 441
  • 36 / 2
И с адсенсом все в порядке?
понятия не имею =) я плохо перевариваю рекламу
*

dmitry_stas

  • Легенда
  • 13151
  • 1234 / 8
Есть какие-нибудь новости с фронта? Или уже миновала опасность?

проблема в том, что у каждого набор разрешенных url свой. думаю, нет возможности составить универсальный список. все равно нет-нет, а что-то и упустишь. и одному подойдет полностью, а второму - нет.

в метрике только 2 левых перехода встретилось. Not bad...

да, не плохо. но знать бы точно, как именно Яндекс реагирует на такие переходы: считает количество, или в принципе смотрит наличие... по идее конечно должен учитывать количество...

немного не понял про
Цитировать
<ВАШ_ДОМЕН>
'self';
это же одно и тоже, так ведь? зачем оба?

а у меня иногда вот такая непонятка встречается в логах:
Цитировать
[blocked-uri] => self
[violated-directive] => inline script base restriction
[script-sample] =>
  var _gaq = _gaq || [];
  _gaq.push(['...
несмотря на присутствие script-src 'unsafe-eval' 'unsafe-inline' . почему интересно...
Тут дарят бакс просто за регистрацию! Успей получить!
Все советы на форуме раздаю бесплатно, то есть даром. Индивидуально бесплатно консультирую только по вопросам стоимости индивидуальных консультаций
*

Sulpher

  • Живу я здесь
  • 2147
  • 402 / 16
  • Шаблоны и расширения Joomla
парни, спасибо за интересную тему, которую подняли, буду следить.

voland, а версия плагина для Joomla 3.x планируется? А то ветка Joomla 2.5 живет до НГ...
*

ChaosHead

  • Гуру
  • 5242
  • 451 / 13
Цитировать
<ВАШ_ДОМЕН>
'self';
В некоторых браузерах self не работает. В Safari и андройд каких-то. Поэтому свой домен вписывать пришлось.

Многие на серче жалуются, что после включения начинает показываться нерелавантная сайту реклама и доход падает, хотя вроде всё в разрешениях.
Некоторые замечали, что adsense иногда пытается подгружать скрипты с каких-то непонятных сайтов, видимо других рекламодателей. Это дело сложно отследить и разрешить.
*

sm_denis

  • Захожу иногда
  • 441
  • 36 / 2
voland, а версия плагина для Joomla 3.x планируется? А то ветка Joomla 2.5 живет до НГ...

Он вполне нормально работает с J3 + я писал выше.

да, не плохо. но знать бы точно, как именно Яндекс реагирует на такие переходы: считает количество, или в принципе смотрит наличие... по идее конечно должен учитывать количество...
Ждем 1-3 месяца, там увидим.

Цитировать
а у меня иногда вот такая непонятка встречается в логах:
Логируйте еще user_agent может быть интересный браузер всплывет.
*

dmitry_stas

  • Легенда
  • 13151
  • 1234 / 8
В некоторых браузерах self не работает. В Safari и андройд каких-то. Поэтому свой домен вписывать пришлось.
понял. но все равно не понятно, зачем оба :) если ориентироваться на непонимание 'self', то для всех браузеров тогда ведь достаточно только <ВАШ_ДОМЕН> по идее?

Логируйте еще user_agent может быть интересный браузер всплывет.
ага, добавил. напишу как появится в логах.
Тут дарят бакс просто за регистрацию! Успей получить!
Все советы на форуме раздаю бесплатно, то есть даром. Индивидуально бесплатно консультирую только по вопросам стоимости индивидуальных консультаций
*

sm_denis

  • Захожу иногда
  • 441
  • 36 / 2
понял. но все равно не понятно, зачем оба :) если ориентироваться на непонимание 'self', то для всех браузеров тогда ведь достаточно только <ВАШ_ДОМЕН> по идее?

Мало ли... от 6-7 байт тяжелее не станет. тут вообще много чего не работает как оказалось и приходится писать не хилый оверхед. self не самый большой из них.
*

Maxoo

  • Новичок
  • 6
  • 0 / 0
В некоторых браузерах self не работает. В Safari и андройд каких-то. Поэтому свой домен вписывать пришлось.

Многие на серче жалуются, что после включения начинает показываться нерелавантная сайту реклама и доход падает, хотя вроде всё в разрешениях.
Некоторые замечали, что adsense иногда пытается подгружать скрипты с каких-то непонятных сайтов, видимо других рекламодателей. Это дело сложно отследить и разрешить.
Установил ваш плагин на два сайта, оба практически полностью выпали из индекса, на одном из 400 осталось 3 страницы, на другом из 800, осталось 26 пока еще. Как вы это прокомментируете? зачем выкладываете не просто сырой, но еще и вредоносный продукт и еще оставляете кнопочку донат?
*

voland

  • Легенда
  • 11026
  • 588 / 112
  • Эта строка съедает место на вашем мониторе
Установил ваш плагин на два сайта, оба практически полностью выпали из индекса, на одном из 400 осталось 3 страницы, на другом из 800, осталось 26 пока еще. Как вы это прокомментируете? зачем выкладываете не просто сырой, но еще и вредоносный продукт и еще оставляете кнопочку донат?
1. Плагин мой.
2. Второе - он никак не вредоносный, в худшем случае неверной настройки, он блокирует рекламу и полезные скрипты.
Отсюда - нет никаких причин, почему сайт может вылететь, ищите другие причины.
*

Maxoo

  • Новичок
  • 6
  • 0 / 0
1. Плагин мой.
2. Второе - он никак не вредоносный, в худшем случае неверной настройки, он блокирует рекламу и полезные скрипты.
Отсюда - нет никаких причин, почему сайт может вылететь, ищите другие причины.

На эти два сайта был установлен ваш плагин как эксперимент поможет ли. После этого начали выпадать один за одним ошибки "Неверный HTTP-заголовок", по крайней мере так пишет вебмастер яндекса. АГС нет точно, так все позиции оставшихся страниц не упали. Единственное что делалось с ними, это был установлен ваш плагин на дефолтных настройках. Так что здесь все вполне очевидно то, что это из-за него.
*

sm_denis

  • Захожу иногда
  • 441
  • 36 / 2
попробую встрять в разговор =)

Думаю, у вас просто получилась легкая перегрузка в заголовках.
ПС это не смог переварить. Дадите ссылку на сайт с включенным плагином?
*

voland

  • Легенда
  • 11026
  • 588 / 112
  • Эта строка съедает место на вашем мониторе
*

Maxoo

  • Новичок
  • 6
  • 0 / 0
Уже все выключил, могу дать ссыль только на сайт, на котором не так давно стояло. Да и что вы по ссылке увидите?
Версия Joomla - 2.5.7  версия плагина 1.0.4
Напишите свой контакт какой нибудь мыло или скайп, скину в личку, а то не могу тут писать.
*

sm_denis

  • Захожу иногда
  • 441
  • 36 / 2
Да и что вы по ссылке увидите?
нууу, http заголовки, например.

а то не могу тут писать.
Поисковикам можно увидеть ваш сайт, а нам нет? Стыдно за свою работу или боитесь за 2-3х лишних посетителей?
Ну нет так нет...  ;)
*

Maxoo

  • Новичок
  • 6
  • 0 / 0
нууу, http заголовки, например.
Поисковикам можно увидеть ваш сайт, а нам нет? Стыдно за свою работу или боитесь за 2-3х лишних посетителей?
Ну нет так нет...  ;)
А вы боитесь, что я вас выслежу и жестоко отомщу?
Вот сайт у которого 3 страницы в поиске осталось http://gamefor2.ru/ . Не знаю, что вы там увидите, но посмотрите, может и правда дело не в плагине, а просто совпадение.
*

flyingspook

  • Moderator
  • 3590
  • 247 / 9
@Maxoo
Так у вас нагрузка на БД была MySQL падал(возможно в приход бота) или нагрузка на сайт была/есть, причина совершенно не в плагине.
Метрика стоит? (она письма шлет при падении и восстановлении работы сайта)
*

dmitry_stas

  • Легенда
  • 13151
  • 1234 / 8
А вы боитесь, что я вас выслежу и жестоко отомщу?

улыбаюсь :) а с учетом того, что sm_denis вообще как бы мимо проходил... так даже 2 раза улыбаюсь :)
Тут дарят бакс просто за регистрацию! Успей получить!
Все советы на форуме раздаю бесплатно, то есть даром. Индивидуально бесплатно консультирую только по вопросам стоимости индивидуальных консультаций
*

Maxoo

  • Новичок
  • 6
  • 0 / 0
@Maxoo
Так у вас нагрузка на БД была MySQL падал(возможно в приход бота) или нагрузка на сайт была/есть, причина совершенно не в плагине.
Метрика стоит? (она письма шлет при падении и восстановлении работы сайта)
Это не нагрузка. Недавно переносили сайты на другой айпи и в момент переноса зашел бот и скашал кучу левых страниц. Страницы в итоге перемешались с другим сайтом, но они не вылетали и постепенно отсеивались. На этом же вдс стоит еще пару сайтов, которые нормально индексируются, так что дело точно не в БД. Второй сайт который вылетел стоит вообще на другом хостинге один единственный. Так что дело не в этом.
Самое интресное, что плагин реально помогал. При включенном средний цтр был в районе 1%, при выключенном 0,6-0,7%. Оч жаль, что недоработанный. Так что без проблем могу предоставить всю информацию, если это поможет решить проблему с индексацией, думаю это не только у меня.
« Последнее редактирование: 02.12.2014, 09:22:02 от Maxoo »
*

Maxoo

  • Новичок
  • 6
  • 0 / 0
Ну плагин на поверку оказывается нерабочий, а изменение цтр всего лишь совпадение на один день. Ручками все надо прописывать в htaccess для надежности.
« Последнее редактирование: 04.12.2014, 22:17:46 от Maxoo »
*

fsv

  • Живу я здесь
  • 2792
  • 414 / 2
Посмотрел сайты активных участников темы. Нашел CSP только на одном.
Что не так?
Веб-разработка: заказ. Только новая разработка.
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться
 

Performing security verification

Автор KuzInfo

Ответов: 3
Просмотров: 257
Последний ответ 15.07.2026, 17:01:23
от KuzInfo
Как выявить вредоностный код на CMS Joomla?

Автор stud_pro

Ответов: 1
Просмотров: 4588
Последний ответ 23.04.2024, 10:06:10
от wishlight
Вирус редирект или взлом с редиректом Joomla 3.10

Автор Wany205

Ответов: 1
Просмотров: 6080
Последний ответ 25.05.2023, 08:49:57
от Театрал
Скрипты защиты Joomla 4

Автор mister_boy

Ответов: 6
Просмотров: 5538
Последний ответ 16.05.2023, 16:38:58
от mister_boy
Поставил Joomla 4. Хостинг nic.ru стал ругаться на ошибки безопасности

Автор Oleg+

Ответов: 5
Просмотров: 3756
Последний ответ 13.09.2021, 09:23:28
от Oleg+