Новости Joomla

Компонент Joomla 6: Генератор LLMs.txt.

Компонент Joomla 6: Генератор LLMs.txt.

Компонент Joomla 6: Генератор LLMs.txt.

Ещё один генератор ИИ-файлов llms.txt и llms-full.txt.

Основные особенности/возможности компонента:

  • Генерация по стандарту: Автоматическое создание файла-визитки llms.txt и расширенной версии llms-full.txt с аннотированным списком материалов.
  • Интеллектуальная работа с контентом: Компонент использует мета-описания (Meta Description) из статей и пунктов меню, превращая SEO-настройки сайта в качественный контекст для нейросетей.
  • Просмотреть результат генерации файлов можно сразу в рабочей области компонента. После внесения корректив (через Настройки компонента. При отладке лучше открыть три вкладки в браузере: Настройка — Геренация/Превью — Список Материалов/Категории/Меню.) — проводим перегенерацию, смотрим результат до полной «победы».
  • Автоматизация и безопасность: Синхронизация с sitemap.xml, группировка по категориям и автоматическое создание резервных копий (.bak) при каждой генерации.
  • Гибкое управление: Возможность исключения определенных категорий и/или статей и/или пунктов меню, а также простая настройка через стандартную админпанель Joomla.
  • Подробное руководство/справка: Пошаговая инструкция для пользователя в Настройках компонента для редакторов с базовым знанием администрирования Joomla.

👉 Важно учесть.
1️⃣ Компонент Генератор LLMs.txt изначально составляет базовый список ссылок на основе sitemap.xml и сверяется с ним на предмет: запрета индексации url в robots.txt, тегов noinex/nofollow. Это экономит время на проверку «закрыть от индексации», поскольку компонент генерации Sitemap.xml уже реализовал эту задачу. Посему, формирование ссылок для ИИ имеет комплексный подход, составление грамотного/валидного/релевантного sitemap.xml никто не отменял.

2️⃣ Тексты-описания ссылок формируются из Meta Description com_content (только компонент Материалы) и выбранных пользователем Меню сайта. Важно, чтобы Meta Description были уникальными и релевантными, соответствовали базовому seo. Составленные «на отшибись» Description для ИИ — «не катит» (впрочем, для поисковых систем они тоже «не канали»).

Разработчик - участник нашего сообщества Александр Кузнецов (@newvksan).

Страница расширения

@joomlafeed

#joomla #ии #ai

👩‍💻 WT LLMs для Joomla: llms.txt, llms.json для AI-агентов.

👩‍💻 WT LLMs для Joomla: llms.txt, llms.json для AI-агентов.

Это Joomla-компонент для публикации AI-ready карты сайта и автоматической генерации файлов llms.txt, llms-full.txt и llms.json по концепции llmstxt.org.  Также о концепции llms.txt говорит Google в своей справке Lighthouse. Решение помогает LLM-моделям, AI-агентам, GEO/AI SEO-процессам и внутренним автоматизациям получать структурированные данные о сайте без ручной сборки JSON и Markdown.

С помощью WT LLMs можно:
- создать структурированное описание сайта для AI-агентов;
- управлять профилем сайта, картой интентов и каноническими страницами для этих интентов из админки Joomla;
- генерировать llms.txt и llms.json;
- использовать REST API для автоматического заполнения данных;
- отдавать публичную schema-инструкцию для AI-агентов;

В комплект компонента входит плагин markdown-версии страниц Joomla. Системный плагин Joomla, который добавляет альтернативное Markdown-представление страниц сайта. Он позволяет отдавать содержимое страницы в более чистом текстовом формате, удобном для AI-агентов, LLM, поисковых систем и технических интеграций.
Плагин добавляет в ссылки на AI-файлы.

Пакет подходит для сайтов на Joomla 5+, которым важно сделать контент понятнее для LLM, AI-поиска, ассистентов и будущих систем машинного чтения.

Видео:
- ВК Видео
- RuTube
- YouTube

Ссылки:
Страница расширения
GitHub

@joomlafeed

0 Пользователей и 1 Гость просматривают эту тему.
  • 15 Ответов
  • 60558 Просмотров
*

spawnhead

  • Осваиваюсь на форуме
  • 25
  • 0 / 0
Доброго дня ребята.

Намучался и все перепробовал (все chmod высталвены правильно).
Есть сайт mysite.info и у него постоянная ошибка выскакивает Error displaying the error page: Application Instantiation Error: Could not connect to MySQL. Раз на раз не приходится, может не выскакивать 5 минут, а потом выскочит при обновлении страницы.
1. Выяснил что эта ошибка вызвана проблемой подключения к MySQL, поскольку она вылазит не постоянно, то логин и пароль тут нипричем (все данный в конфигурационном файле правильные). - ЗНАЧИТ ДЕЛО НЕ В JOOMLA
2. Если пытаешься подключиться к MySQL напрямую, то  вылазит ошибка - #1226 Cannot log in to the MySQL server - выяснилось что количество подключений допустимых в час превышаются многократно - ЗНАЧИТ ПЕРЕГРУЖЕН ТРАФИК К MYSQL
3. Полез в логи Apache¶ - и вижу что каждую долю секунды рвутся спам боты
вот вырезка из лога
Спойлер
[свернуть]
4. Как видно из лога есть якобы какае-то папка которая содержит /pw/exit.php? - хотя на сервере у меня ее нет.
5. Пробовал через htaccess полностью закрывать доступ к сайту - логи все равно пишутся и все теже спам боты.

Как можно решить данную проблему, кроме как обращаться к службе поддерки (они ничгео не смогли сделать - сервер находится в литве)?

Всем заранее спасибо.
*

draff

  • Гуру
  • 5801
  • 434 / 7
  • ищу работу
*

spawnhead

  • Осваиваюсь на форуме
  • 25
  • 0 / 0
а по IP банить пробовал ?
пробовал в htaccess писать следующее:
Order Deny,Allow
Deny from all
Потом смотрел лог апача, и видел что спам бот все равно работает (Каким-то образом проникает в лог файл) - я думал и думаю, что после того как делаешь Deny from all - должно отсекать весь трафик. Но нет.

потом пробовал отсекать по IP
Deny from 141.101.88.179
Потом смотрел лог и все равно есть такой IP в логе.
*

AlexSims

  • Захожу иногда
  • 314
  • 38 / 0
  • кручу верчу
есть скрипт - банит особо надоевших и слишком часто лезущих, которые по несколько раз обращаются в секунду.
плюс банить в iptables, тогда и до апача не дойдет
С фантазией плохо.
*

AlekVolsk

  • Гуру
  • 6913
  • 416 / 4
есть скрипт - банит особо надоевших и слишком часто лезущих, которые по несколько раз обращаются в секунду.
плюс банить в iptables, тогда и до апача не дойдет
И что за скрипт?
Для простых смертных iptables не всегда доступен, выделенка далеко не у всех.
*

draff

  • Гуру
  • 5801
  • 434 / 7
  • ищу работу
пробовал в htaccess писать следующее:
Order Deny,Allow
Deny from all
Ошибся в названии htaccess  или нет ? .htaccess проверял, работает ?
Попробуй создай папку /pw/ и положи .htaccess
Код
AuthName "Privat Zone" 
AuthType Basic
AuthUserFile /pub/home/exper/cov/.htpasswd
require valid-user
*

spawnhead

  • Осваиваюсь на форуме
  • 25
  • 0 / 0
Окей, сейчас попробую!
*

spawnhead

  • Осваиваюсь на форуме
  • 25
  • 0 / 0
Ошибся в названии htaccess  или нет ? .htaccess проверял, работает ?
Попробуй создай папку /pw/ и положи .htaccess
Код
AuthName "Privat Zone" 
AuthType Basic
AuthUserFile /pub/home/exper/cov/.htpasswd
require valid-user

создал папку PW поместил туда htaccess , в логах все таже ерунда.
Спойлер
[свернуть]
Есть советы еще? Спасибо.

Вопрос, каким образом спам-бот обходит Апач?
« Последнее редактирование: 26.01.2015, 14:11:31 от spawnhead »
*

draff

  • Гуру
  • 5801
  • 434 / 7
  • ищу работу
nginx стоит на фронте . И если падает сайт от ботов, то необходимо настраивать конфиг nginx
*

spawnhead

  • Осваиваюсь на форуме
  • 25
  • 0 / 0
Еще узнал, что литовские коллеги поставили такой сервис, как cloudflare айпишники которого лезут в логи.
*

WebDisaster

  • Захожу иногда
  • 108
  • 12 / 0
Если судить вот по этому куску логов
Цитировать
108.162.229.103 - - [23/Jan/2015:10:29:30 +0200] "GET /pw/exit.php?url=tr.anp.se/track?t=c&mid=&uid=206522122&&&http://www.perloca.com/Use_These_Ideas_To_Eradicate_Troubling_Acne_breakouts HTTP/1.1" 403 533 "http://www.safetyguide.biz/modify-company-details?nid=11369&element=http://www.mysite.info/pw/exit.php?url=tr.anp.se/track?t=c&mid=&uid=206522122&&&http://www.perloca.com/Use_These_Ideas_To_Eradicate_Troubling_Acne_breakouts" "Opera/9.80 (Windows NT 6.2; Win64; x64) Presto/2.12.388 Version/12.16"
сервер отвечает на данный запрос 403ей ошибкой. А здесь
Цитировать
141.101.98.181 - - [26/Jan/2015:12:58:10 +0200] "GET /pw/exit.php?url=timesjimthorpe.mobi/leaving.php?u=https://www.youtube.com/watch?v=lv2N_4WptxU HTTP/1.1" 404 805 "http://hawaii.info-komen.org/site/UserLogin?logout=1&NEXTURL=http://www.mysite.info/pw/exit.php?url=timesjimthorpe.mobi/leaving.php?u=https://www.youtube.com/watch?v=lv2N_4WptxU" "Opera/9.80 (Windows NT 6.2; Win64; x64) Presto/2.12.388 Version/12.16"
404й ошибкой.

Что из этого вытекает? Если обработчики 403й и 404й ошибок НЕ php-скрипты, выполняющие SQL-запросы, тогда причина перегрузки MySQL не в этом - до MySQL, по логике, запросы просто не должны доходить. Как и до обработчика php. Их ещё раньше "обрезает" Апач. Но при всём при этом сервер вполне может "падать" в результате банальной перегрузки - точно так же, как при DDoS-атаках. Другой вопрос, намеренный ли это DDoS это или чья-то ошибка. Например, ошибка того, кто этого бота написал или того, кто ботнетом рулит )) А это, как говорится, отсюда не видно )

Прежде чем делать далеко идущие выводы, конечно, хотелось бы увидеть более полные логи. Но из тех кусочков, которые видно сейчас, на сайт идёт 1-2 запроса в секунду, причём все IP разные. Поэтому варианты спасения тут видятся такие: 1) антиDDoS-хостинг; 2) неплохие шансы, что такую нагрузку потянет высокопроизводительный выделенный сервер; или 3) просто пережидать, пока атака закончится.
*

spawnhead

  • Осваиваюсь на форуме
  • 25
  • 0 / 0
более полный лог
Спойлер
[свернуть]

Как я и говорил, литовские коллеги поставили cloudflare в качестве анти DDos атак, о чем свидетельствует  IP адрес 141.101.89.173. Сервер не выдерживает, и к MySQL можно подключиться только с 10-го раза.
*

WebDisaster

  • Захожу иногда
  • 108
  • 12 / 0
более полный лог
Ну тут ситуация совершенно другая.
Во-первых, не видно "родных" IP ботов, отправляющих запросы (все видимые IP из пула CLOUDFLARE - поэтому невозможно сказать, насколько реально здесь реализовать фильтрацию ботов по IP).
Во-вторых, на большинство запросов сервер даёт 200-й ответ - т.е. несуществующие адреса либо отфильтрованы на прокси-сервере, либо изменились сами запросы ботнета. Тогда это целенаправленный DDoS.
В-третьих, запросов бывает и больше 2 в секунду.

Очевидных причин проблемы кроме DDoS на первый взгляд не просматривается. На собственном сервере можно попытаться дропать "левые" пакеты в файрволе, не пропуская их к Апачу. Но и тут сразу возникает вопрос, как пакеты фильтровать. Если все посетители из нескольких известных сетей - ситуация одна, а если нет - совсем другая. Я не знаю специфику сайта, стоимость его простоя, а "мощность" атаки могу оценить очень приблизительно. Но если сайт железно нужно поднять в кратчайшие сроки и невзирая на затраты, то копать нужно в сторону анти-DDoS и специализированных хостингов.
*

spawnhead

  • Осваиваюсь на форуме
  • 25
  • 0 / 0
Я так понимаю что смена хостера проблему не решит?
*

spawnhead

  • Осваиваюсь на форуме
  • 25
  • 0 / 0
Всем спасибо за советы.
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться
 

Компонент Жимолость - защита от спама и ботов

Автор Гоша_Компьютерный

Ответов: 7
Просмотров: 4107
Последний ответ 04.04.2025, 11:58:13
от Simply
Редирект на спам ссылки. Как лчить?

Автор Евгений1980

Ответов: 2
Просмотров: 3994
Последний ответ 14.02.2024, 13:15:59
от wishlight
Спам, вирус или дело в браузере Google

Автор alekcae

Ответов: 13
Просмотров: 3216
Последний ответ 16.05.2021, 18:52:24
от alekcae
Всплывающее спам-сообщение+редирект на Joomla 2.5.14

Автор bonusfree

Ответов: 21
Просмотров: 2789
Последний ответ 02.12.2020, 21:56:30
от bonusfree
Новый набег ботов в регистрации сайта... Какой в этом смысл то?

Автор Cedars

Ответов: 11
Просмотров: 3731
Последний ответ 03.11.2020, 17:36:03
от Cedars