Новости Joomla

Компонент Joomla 6: Генератор LLMs.txt.

Компонент Joomla 6: Генератор LLMs.txt.

Компонент Joomla 6: Генератор LLMs.txt.

Ещё один генератор ИИ-файлов llms.txt и llms-full.txt.

Основные особенности/возможности компонента:

  • Генерация по стандарту: Автоматическое создание файла-визитки llms.txt и расширенной версии llms-full.txt с аннотированным списком материалов.
  • Интеллектуальная работа с контентом: Компонент использует мета-описания (Meta Description) из статей и пунктов меню, превращая SEO-настройки сайта в качественный контекст для нейросетей.
  • Просмотреть результат генерации файлов можно сразу в рабочей области компонента. После внесения корректив (через Настройки компонента. При отладке лучше открыть три вкладки в браузере: Настройка — Геренация/Превью — Список Материалов/Категории/Меню.) — проводим перегенерацию, смотрим результат до полной «победы».
  • Автоматизация и безопасность: Синхронизация с sitemap.xml, группировка по категориям и автоматическое создание резервных копий (.bak) при каждой генерации.
  • Гибкое управление: Возможность исключения определенных категорий и/или статей и/или пунктов меню, а также простая настройка через стандартную админпанель Joomla.
  • Подробное руководство/справка: Пошаговая инструкция для пользователя в Настройках компонента для редакторов с базовым знанием администрирования Joomla.

👉 Важно учесть.
1️⃣ Компонент Генератор LLMs.txt изначально составляет базовый список ссылок на основе sitemap.xml и сверяется с ним на предмет: запрета индексации url в robots.txt, тегов noinex/nofollow. Это экономит время на проверку «закрыть от индексации», поскольку компонент генерации Sitemap.xml уже реализовал эту задачу. Посему, формирование ссылок для ИИ имеет комплексный подход, составление грамотного/валидного/релевантного sitemap.xml никто не отменял.

2️⃣ Тексты-описания ссылок формируются из Meta Description com_content (только компонент Материалы) и выбранных пользователем Меню сайта. Важно, чтобы Meta Description были уникальными и релевантными, соответствовали базовому seo. Составленные «на отшибись» Description для ИИ — «не катит» (впрочем, для поисковых систем они тоже «не канали»).

Разработчик - участник нашего сообщества Александр Кузнецов (@newvksan).

Страница расширения

@joomlafeed

#joomla #ии #ai

👩‍💻 WT LLMs для Joomla: llms.txt, llms.json для AI-агентов.

👩‍💻 WT LLMs для Joomla: llms.txt, llms.json для AI-агентов.

Это Joomla-компонент для публикации AI-ready карты сайта и автоматической генерации файлов llms.txt, llms-full.txt и llms.json по концепции llmstxt.org.  Также о концепции llms.txt говорит Google в своей справке Lighthouse. Решение помогает LLM-моделям, AI-агентам, GEO/AI SEO-процессам и внутренним автоматизациям получать структурированные данные о сайте без ручной сборки JSON и Markdown.

С помощью WT LLMs можно:
- создать структурированное описание сайта для AI-агентов;
- управлять профилем сайта, картой интентов и каноническими страницами для этих интентов из админки Joomla;
- генерировать llms.txt и llms.json;
- использовать REST API для автоматического заполнения данных;
- отдавать публичную schema-инструкцию для AI-агентов;

В комплект компонента входит плагин markdown-версии страниц Joomla. Системный плагин Joomla, который добавляет альтернативное Markdown-представление страниц сайта. Он позволяет отдавать содержимое страницы в более чистом текстовом формате, удобном для AI-агентов, LLM, поисковых систем и технических интеграций.
Плагин добавляет в ссылки на AI-файлы.

Пакет подходит для сайтов на Joomla 5+, которым важно сделать контент понятнее для LLM, AI-поиска, ассистентов и будущих систем машинного чтения.

Видео:
- ВК Видео
- RuTube
- YouTube

Ссылки:
Страница расширения
GitHub

@joomlafeed

0 Пользователей и 1 Гость просматривают эту тему.
  • 30 Ответов
  • 6290 Просмотров
*

ABCroNews

  • Захожу иногда
  • 268
  • 6 / 0
  • Строим новый дом из старых кубиков)
Народ помогите найти проблему, Yandex пишет что сайт запрещен в robots.txt - но где именно я так и не смог понять, может вы поймете?
Код
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /logs/
Disallow: /radio/
Disallow: /xmlrpc/
Disallow: /home.html
Disallow: /kontakty.html
Disallow: /*&forman=pdf
Disallow: /*&print=*
Disallow: /*mailto*
Disallow: /component/*
Disallow: /*?task=edit*
Disallow: /feed/*
Disallow: /*#*
Disallow: /index.php?*
Allow: /images/stories/
Sitemap: http://site.ws/index.php?option=com_xmap&sitemap=1&view=xml

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /logs/
Disallow: /radio/
Disallow: /xmlrpc/
Disallow: /home.html
Disallow: /kontakty.html
Disallow: /*&forman=pdf
Disallow: /*&print=*
Disallow: /*mailto*
Disallow: /component/*
Disallow: /*?task=edit*
Disallow: /feed/*
Disallow: /*#*
Disallow: /index.php?*
Allow: /images/stories/
Sitemap: http://site.ws/index.php?option=com_xmap&sitemap=1&view=xml
Host: site.ws
*

sharp

  • Завсегдатай
  • 1173
  • 97 / 2
где он так пишет ?
Хочешь знать правду!? читай таблицу умножения.
Поисковое продвижение или раскрутка сайта!
*

ABCroNews

  • Захожу иногда
  • 268
  • 6 / 0
  • Строим новый дом из старых кубиков)
где он так пишет ?
http://webmaster.yandex.ru/ ->
Ваш сайт не проиндексирован (Индексирование сайта запрещено в robots.txt?
Внимание! Индексирование этого сайта запрещено в файле robots.txt. Если запрет будет снят, сайт начнет индексироваться автоматически и должен появиться в результатах поиска в течение двух недель. После этого информация в сервисе Яндекс.Вебмастер должна будет обновиться. Подробнее о файле robots.txt вы можете прочитать в Помощи.)

P.S Тут кто то из нас ненормальный я или Yandex?! :o
*

ABCroNews

  • Захожу иногда
  • 268
  • 6 / 0
  • Строим новый дом из старых кубиков)
также я посмотрел в https://www.google.com/webmasters/tools/ в разделе "Заблокирован файлом robots.txt" и нашел там главное зеркало сайта
*

ABCroNews

  • Захожу иногда
  • 268
  • 6 / 0
  • Строим новый дом из старых кубиков)
Народ как можно проверить что точно блокирует индексацию моего сайта в файле robots.txt? Может есть какие то интернет сервисы?
*

doctorgrif

  • Давно я тут
  • 745
  • 82 / 1
  • Нудный доктор
ссылку на сайт дай (в переписке нет) - хоть проверю
Омск-Екатеринбург-Челябинск...Feldzug gen Westen | Кафедра | GrayBox | Joostina 1.2.1 | Joostina Extensions | In Vino Veritas [в работе]
*

ABCroNews

  • Захожу иногда
  • 268
  • 6 / 0
  • Строим новый дом из старых кубиков)
ссылку на сайт дай (в переписке нет) - хоть проверю
послал все на мыло
*

ABCroNews

  • Захожу иногда
  • 268
  • 6 / 0
  • Строим новый дом из старых кубиков)
Народ помогите решить проблему, мучаюсь уже целую неделю
*

Efanych

  • Глобальный модератор
  • 4683
  • 644 / 0
  • Меняю свою жизнь на 360°!
В вебмастере случаем добавлен не www.site?
Создание сайтов, шаблонов, помощь в решении проблем.
*

ABCroNews

  • Захожу иногда
  • 268
  • 6 / 0
  • Строим новый дом из старых кубиков)
В вебмастере случаем добавлен не www.site?
да нет, просто site.ru
*

Efanych

  • Глобальный модератор
  • 4683
  • 644 / 0
  • Меняю свою жизнь на 360°!
Только эта строчка смущает, больше вроде нечему.
Disallow: /home.html
Создание сайтов, шаблонов, помощь в решении проблем.
*

ABCroNews

  • Захожу иногда
  • 268
  • 6 / 0
  • Строим новый дом из старых кубиков)
Только эта строчка смущает, больше вроде нечему.
Disallow: /home.html
Я ее сразу убрал и еще убрал Disallow: /*#* но все равно что то блокирует индексацию ->
Код
User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /logs/
Disallow: /radio/
Disallow: /xmlrpc/
Disallow: /kontakty.html
Disallow: /*&forman=pdf
Diallow: /*&print=*
Disallow: /*mailto*
Disallow: /component/*
Disallow: /*?task=edit*
Disallow: /feed/*
Disallow: /index.php?*
Allow: /images/stories/
Host: site.ws

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /logs/
Disallow: /radio/
Disallow: /xmlrpc/
Disallow: /kontakty.html
Disallow: /*&forman=pdf
Disallow: /*&print=*
Disallow: /*mailto*
Disallow: /component/*
Disallow: /*?task=edit*
Disallow: /feed/*
Disallow: /index.php?*
Allow: /images/stories/
Sitemap: http://site.ws/index.php?option=com_xmap&sitemap=1&view=xml
*

Efanych

  • Глобальный модератор
  • 4683
  • 644 / 0
  • Меняю свою жизнь на 360°!
Я ее сразу убрал и еще убрал Disallow: /*#* но все равно что то блокирует индексацию
А робот после того заходил на сайт?
Создание сайтов, шаблонов, помощь в решении проблем.
*

ABCroNews

  • Захожу иногда
  • 268
  • 6 / 0
  • Строим новый дом из старых кубиков)
А робот после того заходил на сайт?
ну да пишет "Обновлено 13.05.2011" то есть данные о роботс. Я его еще немного подправил, убрал некоторые лишние "Disallow:" и все звездочки в адресах, посмотрим что из этого получится после очередного Гошеного обновления.

P.S Скажите вы не знаете куда можно обратится по поводу этого, я так и не смог найти техподдержку от Гоши. :(
*

sharp

  • Завсегдатай
  • 1173
  • 97 / 2
верни старый robots.txt
Хочешь знать правду!? читай таблицу умножения.
Поисковое продвижение или раскрутка сайта!
*

strannik-yura

  • Давно я тут
  • 511
  • 44 / 1
  • :)
ну да пишет "Обновлено 13.05.2011" то есть данные о роботс. Я его еще немного подправил, убрал некоторые лишние "Disallow:" и все звездочки в адресах, посмотрим что из этого получится после очередного Гошеного обновления.

P.S Скажите вы не знаете куда можно обратится по поводу этого, я так и не смог найти техподдержку от Гоши. :(

ну то, что пишет, обновлено, это ещё ни чего не значит,
у меня было на всех сайтах внёс изменения в robots, при следующем заходе он учёл  изменения на всех сайта кроме одного
и учел их спустя 16 дней, хотя ещё три раза заходил.
так что возвращай дефолтовый robots.txt и жди.
на счёт службе поддержки, с правой стороны, в вебмастере, есть ссылка Задать вопрос о сайте службе поддержки мне по ней отвечали, правда, не сразу
*

ABCroNews

  • Захожу иногда
  • 268
  • 6 / 0
  • Строим новый дом из старых кубиков)
Опять Гоша схавал robots.txt и опять все нужные ссылки попали в запрет., народ это просто какой то идиотизм или файл robots.txt не выполняет нормально свои функции. Ну вот где тут команда которая запрещает индексацию всего сайта?
Код
User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /logs/
Disallow: /radio/
Disallow: /xmlrpc/
Disallow: /component/
Disallow: /kontakty.html
Disallow: /home.html?
Disallow: /index.php?
Allow: /images/stories/
Host: site.ws

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /logs/
Disallow: /radio/
Disallow: /xmlrpc/
Disallow: /component/
Disallow: /kontakty.html
Disallow: /home.html?
Disallow: /index.php?
Allow: /images/stories/
Sitemap: http://site.ws/index.php?option=com_xmap&sitemap=1&view=xml
Цитировать
ну то, что пишет, обновлено, это ещё ни чего не значит
так он не просто обновляет для себя robots.txt но и сразу дает список запрещенных ссылок, в котором и находятся все нужные страницы
*

ABCroNews

  • Захожу иногда
  • 268
  • 6 / 0
  • Строим новый дом из старых кубиков)
Мне кажется, когда я смотрела админку Joomla, там где-то надо бы снять или поставить галочку "включить для индексации " или типа того. но я не помню где, по-моему первое левое меню (натройки сисетемы кажись, и там где "включить ли сайт"), а там выбрать "система". а может и нет, но точно в первом левом. опыт у меня почти нулевой, но может поможет, я просто точно помню, что что-то там переключала. вот. :)
я все прошарил и не нашел нечего подобного, наверное вы перепутали с опцией "Разрешить регистрацию пользователей" где нужно поставить голочку на "нет" так как регистрация проходит через CB, а не через Joomla
*

doctorgrif

  • Давно я тут
  • 745
  • 82 / 1
  • Нудный доктор
дата переотправки обновленного робота Yandex?
Омск-Екатеринбург-Челябинск...Feldzug gen Westen | Кафедра | GrayBox | Joostina 1.2.1 | Joostina Extensions | In Vino Veritas [в работе]
*

ABCroNews

  • Захожу иногда
  • 268
  • 6 / 0
  • Строим новый дом из старых кубиков)
дата переотправки обновленного робота Yandex?
Яне как известно нужно немного больше для того чтобы родить в отличие от Гоши, поэтому будемс тупо ждать две недели для того чтобы в конце увидеть надпись мол ваш сайт запрещен в robots.txt Также вчера забил на все и вообще поменял свой robots.txt на стандартный, который был изначально в Joomla и все равно этот черт от Гоши запретил все страницы сайта. Просто делал свой сайт 1,5 года вбухал уйму времени и денег, в результате два этих болвана не могу его нормально проиндексировать. А страшно даже не это, а то что некуда ни обратится ни податься - средний век. crazy!

Убейте меня если есть в этом роботс строчка запрещающая индексацию сайта
Код
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
« Последнее редактирование: 16.05.2011, 02:59:44 от ABCroNews »
*

Rocknrostov

  • Захожу иногда
  • 100
  • 0 / 0
  • Joomla наше всё)
очень интересно, можно сайт в личку. а вообще можно обратиться на forum.searchengines.ru например.
*

ABCroNews

  • Захожу иногда
  • 268
  • 6 / 0
  • Строим новый дом из старых кубиков)
очень интересно, можно сайт в личку. а вообще можно обратиться на forum.searchengines.ru например.
на forum.searchengines.ru также создал топик - http://forum.searchengines.ru/showthread.php?p=8951806, но и там мне пока что к сожалению ни кто помочь не смог. А вчера я вообще удалил к чертовой матери этот robots.txt и Гоша с горем по полам занес в индекс две страницы сайта - главную и раздел FAQ. А сегодня почему то Гоша выбросил из индекса главную и вместо нее поставил один из разделов, причем в нем вообще нет контента.
*

Rocknrostov

  • Захожу иногда
  • 100
  • 0 / 0
  • Joomla наше всё)
может какой плагин поставили глючный?
в мета роботс прописал индекс?
*

Rocknrostov

  • Захожу иногда
  • 100
  • 0 / 0
  • Joomla наше всё)
я бы действовал так, зашёл бы в Я вебмастере в анализатор рботс и начал бы рповерять весь сайт вначале можно шаблон стандартный поставить милкивэй например. Посмотреть Как поисковик отрегаирует. У меня была такая тема в одном шаблоне, что из-за спец символа (он получался из-за автообрезания контента) робот сапы останавливался на нём и не индексировал сайт.
После проверки шаблона, отключаем все плагины и включаем по одному

Если у вас 404сеф стоит, то у него свой антифлуд есть, если неправильно настроить он вообще никого пускать не будет. Вообщем так вам врядли кто скажет, если конечно сам он не сталкивался с таким однажды. Сайт вы показывать не хотите.
Значит надо самому всё перебирать  и смотреть что да как.

Ну или оставить БД и переустановить сайт. Но это конечно крайний случай.
*

ABCroNews

  • Захожу иногда
  • 268
  • 6 / 0
  • Строим новый дом из старых кубиков)
Сайт вы показывать не хотите.
Значит надо самому всё перебирать  и смотреть что да как.
Ну или оставить БД и переустановить сайт. Но это конечно крайний случай.
Сайт не выставляют так как там полно уник контента, может не народ отписавшийся в этой теме, который пытается мне помочь а какой-нибудь недобросовестный админ просто просматривающий тему свистнет мой контент - мне это не нужно, поэтому и предохраняюсь. Я написал на Гошин форум там мне откликнулся добрый чел, который мне дал всю инструкцию что и как поверить, после чего я послал запрос на повторное рассмотрение индексации и описал в комментарии Гоши (по русски) что случилось. Но иначе в индекс как то попало 5 станиц, из нужных 20. Кароче теперь остается только ждать результата и надеется что все заработает. По завершению всего обязательно отпишусь в этой теме и спасибо всем кто искренне пытался помочь. ;)  
*

ABCroNews

  • Захожу иногда
  • 268
  • 6 / 0
  • Строим новый дом из старых кубиков)
Вот что мне ответила Яшкина техподдержка - "Правило Disallow: /*#* запрещает полное индексирование сайта." Знак # это комментарий и по моему все что перед ним и после все считается как комент., вот и получилось что у меня остался один  Disallow: что также значит  - запрет на индексирование всего сайта. Потом я убрал # и поменял robots.txt, но ПС все равно как то долго все делают, Гошка индексирует по одной странице в день, не понимаю почему не проиндексировать сразу весь сайт (всех 20 страниц)?! А Яшич наверное в жутком запое, так как вообще нечего не индексирует и не понятно когда он это сделает ))
*

skai

  • Moderator
  • 1198
  • 153 / 1
  • skaiseo
Дооптимизировался )))
для ускорения индексации купи ссылки в сапе на нужные страницы. Ссылки бери на ночь с крупного новостника. Можешь в закладки добавить - тоже робот быстро заглянет (ссылки эффективнее).
Наполнение вашего сайта - 1т.р. стр. (текст, изображения, мета, перелинковка). Гарантия высокого ранжирования. SEO консультация в подарок.
----------------------------------------------------------------------------------------------
*

Sanchesko

  • Захожу иногда
  • 104
  • 13 / 0
Вот что мне ответила Яшкина техподдержка - "Правило Disallow: /*#* запрещает полное индексирование сайта." Знак # это комментарий и по моему все что перед ним и после все считается как комент., вот и получилось что у меня остался один  Disallow: что также значит  - запрет на индексирование всего сайта. Потом я убрал # и поменял robots.txt, но ПС все равно как то долго все делают, Гошка индексирует по одной странице в день, не понимаю почему не проиндексировать сразу весь сайт (всех 20 страниц)?! А Яшич наверное в жутком запое, так как вообще нечего не индексирует и не понятно когда он это сделает ))
Вообще если внимательно посмотреть помощь в Yandex мастере , то можно обнаружить инфу по поводу индексации и почему она может затормозиться или реально отложиться на неопределённый срок , а точнее насколько помню и у Yandex и гоши есть такая штука если сайт при неоднократном посещении робота именно запрещен к индексации или на  нем больше ошибок  чем материалов, то следующий заход бота и индексация могут отодвинуться на нереальный срок .
Кстати есть пост с сылкой на один источник по проведению неких итогов за 2010 год по seo оптимизации http://топэксперт.рф/ и там есть интересная строка именно про яшу
Взаимодействие с Яндексом
   Наличие сайта в Яндекс.вебмастер    23%
   Факт выгрузки обратных ссылок    -12%
   Факт ранее наложенных санкций    -54% <-------вот этот пункт думаю совпадает с запретом индексирования.
Может я ошибаюсь , но если вы ( в посте видел кажись ) писали что вложили немало усилий и денег в свой уник сайт то для быстрого продвижения наверно вам поможет заказ ( показ ) вашей рекламы в поиске Yandex и гоши , конечно это деньги , но думаю поможет вернуть сайт к жизни более быстрыми темпами.
Русский способ настройки это нажатие всех кнопок устройства одновременно . Помогает реально ... успокоиться.
*

Iriska :)

  • Захожу иногда
  • 58
  • 1 / 0
Немного не по теме, но... в руководстве Яндекса по составлению роботс указано, что директива allow должна предшествовать disallow
*

фобос

  • Захожу иногда
  • 171
  • 14 / 1
Поздно, но все же мож у кого будет подобный казус.
Если сайт не использует SEF, то в робот.тхт виновата вот эта строчка:
Disallow: /index.php?
Она запрещает индексировать весь контент сайта.
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться
 

Как продвигать сайт! (интернет-магазин)?

Автор Kooll5

Ответов: 31
Просмотров: 11316
Последний ответ 07.02.2023, 13:59:57
от Ратник
Роботу Googlebot заблокирован доступ в файле robots.txt

Автор illimited

Ответов: 3
Просмотров: 4789
Последний ответ 29.05.2022, 14:57:55
от web1
Один сайт, доступный через два домена (зеркало?)

Автор slepoy

Ответов: 2
Просмотров: 2409
Последний ответ 20.11.2021, 17:50:48
от Byzi
Правильный robots.txt? [вопросы/обсуждение]

Автор wishlight

Ответов: 447
Просмотров: 234547
Последний ответ 20.11.2021, 16:53:49
от Byzi
Как лучше прописать robots.txt?

Автор web1

Ответов: 2
Просмотров: 1888
Последний ответ 25.07.2021, 21:38:12
от web1