Новости Joomla

Компонент Joomla 6: Генератор LLMs.txt.

Компонент Joomla 6: Генератор LLMs.txt.

Компонент Joomla 6: Генератор LLMs.txt.

Ещё один генератор ИИ-файлов llms.txt и llms-full.txt.

Основные особенности/возможности компонента:

  • Генерация по стандарту: Автоматическое создание файла-визитки llms.txt и расширенной версии llms-full.txt с аннотированным списком материалов.
  • Интеллектуальная работа с контентом: Компонент использует мета-описания (Meta Description) из статей и пунктов меню, превращая SEO-настройки сайта в качественный контекст для нейросетей.
  • Просмотреть результат генерации файлов можно сразу в рабочей области компонента. После внесения корректив (через Настройки компонента. При отладке лучше открыть три вкладки в браузере: Настройка — Геренация/Превью — Список Материалов/Категории/Меню.) — проводим перегенерацию, смотрим результат до полной «победы».
  • Автоматизация и безопасность: Синхронизация с sitemap.xml, группировка по категориям и автоматическое создание резервных копий (.bak) при каждой генерации.
  • Гибкое управление: Возможность исключения определенных категорий и/или статей и/или пунктов меню, а также простая настройка через стандартную админпанель Joomla.
  • Подробное руководство/справка: Пошаговая инструкция для пользователя в Настройках компонента для редакторов с базовым знанием администрирования Joomla.

👉 Важно учесть.
1️⃣ Компонент Генератор LLMs.txt изначально составляет базовый список ссылок на основе sitemap.xml и сверяется с ним на предмет: запрета индексации url в robots.txt, тегов noinex/nofollow. Это экономит время на проверку «закрыть от индексации», поскольку компонент генерации Sitemap.xml уже реализовал эту задачу. Посему, формирование ссылок для ИИ имеет комплексный подход, составление грамотного/валидного/релевантного sitemap.xml никто не отменял.

2️⃣ Тексты-описания ссылок формируются из Meta Description com_content (только компонент Материалы) и выбранных пользователем Меню сайта. Важно, чтобы Meta Description были уникальными и релевантными, соответствовали базовому seo. Составленные «на отшибись» Description для ИИ — «не катит» (впрочем, для поисковых систем они тоже «не канали»).

Разработчик - участник нашего сообщества Александр Кузнецов (@newvksan).

Страница расширения

@joomlafeed

#joomla #ии #ai

👩‍💻 WT LLMs для Joomla: llms.txt, llms.json для AI-агентов.

👩‍💻 WT LLMs для Joomla: llms.txt, llms.json для AI-агентов.

Это Joomla-компонент для публикации AI-ready карты сайта и автоматической генерации файлов llms.txt, llms-full.txt и llms.json по концепции llmstxt.org.  Также о концепции llms.txt говорит Google в своей справке Lighthouse. Решение помогает LLM-моделям, AI-агентам, GEO/AI SEO-процессам и внутренним автоматизациям получать структурированные данные о сайте без ручной сборки JSON и Markdown.

С помощью WT LLMs можно:
- создать структурированное описание сайта для AI-агентов;
- управлять профилем сайта, картой интентов и каноническими страницами для этих интентов из админки Joomla;
- генерировать llms.txt и llms.json;
- использовать REST API для автоматического заполнения данных;
- отдавать публичную schema-инструкцию для AI-агентов;

В комплект компонента входит плагин markdown-версии страниц Joomla. Системный плагин Joomla, который добавляет альтернативное Markdown-представление страниц сайта. Он позволяет отдавать содержимое страницы в более чистом текстовом формате, удобном для AI-агентов, LLM, поисковых систем и технических интеграций.
Плагин добавляет в ссылки на AI-файлы.

Пакет подходит для сайтов на Joomla 5+, которым важно сделать контент понятнее для LLM, AI-поиска, ассистентов и будущих систем машинного чтения.

Видео:
- ВК Видео
- RuTube
- YouTube

Ссылки:
Страница расширения
GitHub

@joomlafeed

0 Пользователей и 1 Гость просматривают эту тему.
  • 18 Ответов
  • 2437 Просмотров
*

rezchik

  • Захожу иногда
  • 109
  • 0 / 0
Здравствуйте.
В течении примерно 10 часов сайт превышал  допустимую нагрузку и  cpu в этот день превысило в 3,5 раз.
Затем все установилось в в обычной норме 25% от допустимой. Администратор сразу предложил другой тарифный план.
Сам в файлах logs ничего не обнаружил. На что админ ответил:
Потому что вам нужно было самостоятельно открыто логи и посмотреть что именно создавало эти запросы к вашему сайту .
Сделав это вы бы увидели что топ по запросам составляют поисковые боты
   2206 66.249.78.250
   3460 52.12.223.139
   4781 66.102.9.8
   4932 66.102.9.121
   4954 66.102.9.111

А также один адрес который активно создавал запросы к вашему сайту чем и добавил нагрузки.
 132913 185.93.185.246
Как определить что это за поисковые боты и адрес. И можно их заблокировать?
*

effrit

  • Легенда
  • 10132
  • 1118 / 13
  • effrit.com
можно попробовать вот такое, как вариант
https://github.com/bluedragonz/bad-bot-blocker/blob/master/.htaccess#L225

только Яндекс убрать из списка, ибо без него сайту погрустнеет ))
ну может кто-то более умный прокомментирует совет.
*

flyingspook

  • Moderator
  • 3590
  • 247 / 9
Google в вебмастере настраивается на время посещения, для яндекса пишем в роботс
Код
User-agent: Yandex
Crawl-delay: 2 # задает таймаут в 2 секунды
таймаут в среднем 5 ставим размещаем в самом вверху
*

draff

  • Гуру
  • 5801
  • 434 / 7
  • ищу работу
Цитировать
А также один адрес который активно создавал запросы к вашему сайту чем и добавил нагрузки.
 132913 185.93.185.246
Как определить что это за поисковые боты и адрес. И можно их заблокировать?
Узнать можно на https://2ip.ru/whois/ . Какие расширения установлены на сайте?
*

rezchik

  • Захожу иногда
  • 109
  • 0 / 0
jcoments, Xmap, mod-custom   остальные что установлены в Joomla 1.5.18 stable
*

draff

  • Гуру
  • 5801
  • 434 / 7
  • ищу работу
Цитировать
Joomla 1.5.18
Нужно обновить до 1.5.26 + отдельные  патчи безопасности для Joomla 1.5. Ну и банить все равно придется. Встречаются запросы по уязвимости редактора ICE и в 2016 году.
*

rezchik

  • Захожу иногда
  • 109
  • 0 / 0
 2206 66.249.78.250
   3460 52.12.223.139
   4781 66.102.9.8
   4932 66.102.9.121
   4954 66.102.9.111
132913 185.93.185.246
как IP  АДРЕСА 2ip.ru/whois не определяет.
*

winstrool

  • Давно я тут
  • 820
  • 51 / 2
  • Свободен для работы
2206 66.249.78.250
   3460 52.12.223.139
   4781 66.102.9.8
   4932 66.102.9.121
   4954 66.102.9.111
132913 185.93.185.246
как IP  АДРЕСА 2ip.ru/whois не определяет.
Ну с вашими познаниями и пониманием вещей 100% вы самостоятельно вопрос не решите!
IP адреса:
66.249.78.250 а не  2206 66.249.78.250 и так далие по списку...
*

rezchik

  • Захожу иногда
  • 109
  • 0 / 0
Все  IP кроме нижнего США. В основном с разных городов и провайдеров. Но общее у них Ref:https://whois.arin.net/. Последний с Украины. Что лучше заблокировать все IP или https://whois.arin.net/?
*

Bright

  • Захожу иногда
  • 170
  • 2 / 2
   2206 66.249.78.250
   3460 52.12.223.139
   4781 66.102.9.8
   4932 66.102.9.121
   4954 66.102.9.111
Это ни о чём, на месте техподдержки чернила поэкономил бы.

А также один адрес который активно создавал запросы к вашему сайту чем и добавил нагрузки.
 132913 185.93.185.246
А вот это весело. Он один многократно превысил весь тот список.
За 133 тысячи запросов в баню его, даже не разбираясь )
*

Bright

  • Захожу иногда
  • 170
  • 2 / 2

За 133 тысячи запросов в баню его, даже не разбираясь )
А вообще надо обязательно смотреть логи посещений. Запрос запросу рознь. Запросы могут быть легкими, могут тяжелыми, а могут быть вообще "наощупь", по несуществующим объектам - на них ЦП вместо доли секунды может подвиснуть по несколько секунд на каждом (типа ищет) и из-за этого получится перегрузка на относительно небольшом количестве запросов (при хорошем их "качестве").

Я не спец в этом, но написал что понял в процессе борьбы с такой же нечистью. А спецы поправят, если что. :)
*

rezchik

  • Захожу иногда
  • 109
  • 0 / 0
Интересно что перед этой нагрузкой 12 июля. Нашел такое сообщение. Этот сервер MySol запущен 11 июня 2016г.
*

vitzer

  • Захожу иногда
  • 303
  • 5 / 0
vvm-auto.ru
Началось под новый год. Но сегодня предел. Начал вычищать IP: запросы реально цикличные - строго на один или пару файлов, или на одну-две конкретные страницы.
Есть ли универсальное решение для виртуального хостинга? Что-то конкретных ответов в теме не увидел. Или ждать, пока отвалятся сами собой?
*

flyingspook

  • Moderator
  • 3590
  • 247 / 9
vvm-auto.ru
Началось под новый год. Но сегодня предел. Начал вычищать IP: запросы реально цикличные - строго на один или пару файлов, или на одну-две конкретные страницы.
Есть ли универсальное решение для виртуального хостинга? Что-то конкретных ответов в теме не увидел. Или ждать, пока отвалятся сами собой?
Ждать, или брать у хостера платные защиты.
*

SeBun

  • BanMaster
  • 4031
  • 259 / 5
  • @SeBun48
Вообще универсальных решений нет и нужно разбираться в каждом конкретном случае. Чаще всего нагрузку создают внедряемые при взломе скрипты. Но буквально перед НГ был перецедент - у клиента, который имел шаред-хостинг у TimeWeb была дикая нагрузка на ресурсы, ему впарили самый дорогой тариф для Bitrix, якобы только он может выдержать нагрузку. Не прошло и недели, клиенту предлагают подергать ползунки нагрузки - увеличить максимально допустимую нагрузку на процессор и базу, естественно это дополнительные расходы. Клиент в шоке. После переноса сайта на мой хостинг нагрузка исчезла полностью. При этом только один форум у клиента Весит порядка 10Гб.

Я не хочу катить бочку на сотрудников TimeWeb, но это уже не первый такой прецедент. Сам ушел от них по той же причине - стали впаривать тариф, нагрузка превышает допустимые пределы. Просканировал сайт - все чисто. Перенес на другой хостинг - и все стабилизировалось.

Но повторюсь - нужен аудит сайта в любом случае. Просите у хостера логи сервера и анализируйте. Хотя бы так для начала.
Оказываю услуги по Joomla | Миграция/Обновление | Сопровождение | IT-аутсорсинг | Недорогие домены и хостинг
*

vitzer

  • Захожу иногда
  • 303
  • 5 / 0
Но повторюсь - нужен аудит сайта в любом случае. Просите у хостера логи сервера и анализируйте. Хотя бы так для начала.
Я на hc.ru. Реально левые IP атакуют. После блокировки отображаются в панели ошибок: по 9-10 запросов в секунду с одного IP.
Хостер платной защиты не предлагает. Но после вопроса: что делать, менять тарифный план или искать другой хостинг, обещал разобраться. Правда, уже дня два ни ответа, ни привета. Сижу жду... и чищу потихоньку IP.
*

SeBun

  • BanMaster
  • 4031
  • 259 / 5
  • @SeBun48
Скорее всего щупают. Могу порекомендовать отрубить доступ с прокси (именно с них идут запросы) и ограничить по странам.

Вот кусок кода из моего класса, думаю, сообразите, как адаптировать под себя:

Код: php
    /**
     * Если посетитель пришел с прокси-сервера, то в переменной $_SERVER['HTTP_VIA']
     * хранится имя, версия программного обеспечения и номер порта.
     *
     * @return boolean Возвращает TRUE, если есть признак принадлежности к прокси.
     */
    private function detectVIA()
    {
        
        if (!empty($_SERVER['HTTP_VIA'])) {
          return true;
        }
        
        return FALSE; //строка пуста.
    
    }


    private function detectPort()
    {
        $ports = array(8080,80,81,1080,6588,8000,3128,553,554,4480);
        
        if ($_SERVER['REMOTE_ADDR'] == '127.0.0.1') {
            return FALSE; // отключить для localhost
        }
        
        foreach($ports as $port) {
            if (@fsockopen($_SERVER['REMOTE_ADDR'], $port, $errno, $errstr, 30)) {
                return true;
            }
        }
    }

В .htaccess директивой auto_prepend_file подключите файлик с проверкой прокси, и они будут резаться. Сначала проверяете первой функцией. Если вернула ложь, проверяете второй.

Второе - написал, как ограничить по странам тут.
« Последнее редактирование: 08.01.2017, 02:19:17 от SeBun »
Оказываю услуги по Joomla | Миграция/Обновление | Сопровождение | IT-аутсорсинг | Недорогие домены и хостинг
*

vitzer

  • Захожу иногда
  • 303
  • 5 / 0
Скорее всего щупают. Могу порекомендовать отрубить доступ с прокси (именно с них идут запросы) и ограничить по странам.

Вот кусок кода из моего класса

Второе - написал, как ограничить по странам тут.
Спасибо!

Отписался хостер - сбой на их стороне.
« Последнее редактирование: 10.01.2017, 10:40:34 от vitzer »
*

SeBun

  • BanMaster
  • 4031
  • 259 / 5
  • @SeBun48
Я чуть подкорректировал код, обратите внимание. Сначала проверяете $_SERVER['HTTP_VIA'], если проскочило, щупаем порты прокси. Если нашли прокси, можно, например, выводить капчу. Ну и еще кусочек кода:

Код: php
sleep(2);

Для юзера не критично. А вот бот обломится.
Оказываю услуги по Joomla | Миграция/Обновление | Сопровождение | IT-аутсорсинг | Недорогие домены и хостинг
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться
 

Взломали сайт Antonkiil

Автор kristina_r

Ответов: 21
Просмотров: 1436
Последний ответ 15.07.2026, 12:09:51
от ProtectYourSite
При открытии сайта с режима инкогнито перекидывает на вирусный сайт

Автор 62411

Ответов: 6
Просмотров: 5862
Последний ответ 31.03.2024, 16:14:32
от SeBun
Netflix! - Клиент поймал фишинг на старый сайт. Где порылись собаки?

Автор Alex_gs

Ответов: 9
Просмотров: 3580
Последний ответ 05.11.2021, 21:47:31
от wishlight
Взломали сайт. Как в некоторых случаях делаю я

Автор cntrl

Ответов: 0
Просмотров: 2329
Последний ответ 29.08.2020, 00:25:24
от cntrl
Безопасный вход на сайт Joomla и админка

Автор jm

Ответов: 9
Просмотров: 3434
Последний ответ 19.07.2020, 23:57:17
от wishlight