Новости Joomla

Вышла новая версия joomLab Article Slider 1.1.0

Вышла новая версия joomLab Article Slider 1.1.0

Модуль joomLab Article Slider загружает материалы динамически (ajax), что позволит максимально увеличить скорость загрузки страницы, если на ней используется много контентных модулей, а в каждом таком модуле выводится много материалов. 
Так же после загрузки модуля, любой пользователь Вашего сайта, может отфильтровать материалы  в модуле  по категориям и/или тегам.
Материалы в модуле выводятся в виде адаптивного слайд-шоу (используется swiper.js).

Что нового?

Добавлена возможность ajax фильтрации материалов по категориям и/или тегам в любом модуле на странице сайта

Скачать модуль > https://joomlab.ru/extentions/modules/joomlab-article-slider
Демо > https://demo.joomlab.ru/ajax-article

Компонент Joomla 6: Генератор LLMs.txt.

Компонент Joomla 6: Генератор LLMs.txt.

Компонент Joomla 6: Генератор LLMs.txt.

Ещё один генератор ИИ-файлов llms.txt и llms-full.txt.

Основные особенности/возможности компонента:

  • Генерация по стандарту: Автоматическое создание файла-визитки llms.txt и расширенной версии llms-full.txt с аннотированным списком материалов.
  • Интеллектуальная работа с контентом: Компонент использует мета-описания (Meta Description) из статей и пунктов меню, превращая SEO-настройки сайта в качественный контекст для нейросетей.
  • Просмотреть результат генерации файлов можно сразу в рабочей области компонента. После внесения корректив (через Настройки компонента. При отладке лучше открыть три вкладки в браузере: Настройка — Геренация/Превью — Список Материалов/Категории/Меню.) — проводим перегенерацию, смотрим результат до полной «победы».
  • Автоматизация и безопасность: Синхронизация с sitemap.xml, группировка по категориям и автоматическое создание резервных копий (.bak) при каждой генерации.
  • Гибкое управление: Возможность исключения определенных категорий и/или статей и/или пунктов меню, а также простая настройка через стандартную админпанель Joomla.
  • Подробное руководство/справка: Пошаговая инструкция для пользователя в Настройках компонента для редакторов с базовым знанием администрирования Joomla.

👉 Важно учесть.
1️⃣ Компонент Генератор LLMs.txt изначально составляет базовый список ссылок на основе sitemap.xml и сверяется с ним на предмет: запрета индексации url в robots.txt, тегов noinex/nofollow. Это экономит время на проверку «закрыть от индексации», поскольку компонент генерации Sitemap.xml уже реализовал эту задачу. Посему, формирование ссылок для ИИ имеет комплексный подход, составление грамотного/валидного/релевантного sitemap.xml никто не отменял.

2️⃣ Тексты-описания ссылок формируются из Meta Description com_content (только компонент Материалы) и выбранных пользователем Меню сайта. Важно, чтобы Meta Description были уникальными и релевантными, соответствовали базовому seo. Составленные «на отшибись» Description для ИИ — «не катит» (впрочем, для поисковых систем они тоже «не канали»).

Разработчик - участник нашего сообщества Александр Кузнецов (@newvksan).

Страница расширения

@joomlafeed

#joomla #ии #ai

👩‍💻 WT LLMs для Joomla: llms.txt, llms.json для AI-агентов.

👩‍💻 WT LLMs для Joomla: llms.txt, llms.json для AI-агентов.

Это Joomla-компонент для публикации AI-ready карты сайта и автоматической генерации файлов llms.txt, llms-full.txt и llms.json по концепции llmstxt.org.  Также о концепции llms.txt говорит Google в своей справке Lighthouse. Решение помогает LLM-моделям, AI-агентам, GEO/AI SEO-процессам и внутренним автоматизациям получать структурированные данные о сайте без ручной сборки JSON и Markdown.

С помощью WT LLMs можно:
- создать структурированное описание сайта для AI-агентов;
- управлять профилем сайта, картой интентов и каноническими страницами для этих интентов из админки Joomla;
- генерировать llms.txt и llms.json;
- использовать REST API для автоматического заполнения данных;
- отдавать публичную schema-инструкцию для AI-агентов;

В комплект компонента входит плагин markdown-версии страниц Joomla. Системный плагин Joomla, который добавляет альтернативное Markdown-представление страниц сайта. Он позволяет отдавать содержимое страницы в более чистом текстовом формате, удобном для AI-агентов, LLM, поисковых систем и технических интеграций.
Плагин добавляет в ссылки на AI-файлы.

Пакет подходит для сайтов на Joomla 5+, которым важно сделать контент понятнее для LLM, AI-поиска, ассистентов и будущих систем машинного чтения.

Видео:
- ВК Видео
- RuTube
- YouTube

Ссылки:
Страница расширения
GitHub

@joomlafeed

1   Вниз
0 Пользователей и 1 Гость просматривают эту тему.
  • 22 Ответов
  • 25069 Просмотров
*

kunev

  • Захожу иногда
  • 118
  • 0 / 0
Помогите атакует поисковый робот! bingbot
« : 12.12.2011, 12:18:18 »
Обратил внимание, что последнюю неделю сайт стал просто до безобразия медленно работать, до тех пор пока вообще не ушел в 503 Service Temporarily Unavailable. Посмотрев папку логов, заметно на глазах растёт файл логов. Сразу мысль DDOS атака, но посмотрев логи

207.46.13.212 - - [12/Dec/2011:10:01:15 +0200] "GET /сайт/товар?keyword=dream HTTP/1.0" 200 93488 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
65.52.104.29 - - [12/Dec/2011:10:01:15 +0200] "GET /сайт/товар??keyword=%D0%A4%D0%B8%D0%B3%D1%83%D1%80%D0%BA%D0%B0 HTTP/1.0" 200 110513 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
65.52.104.29 - - [12/Dec/2011:10:01:15 +0200] "GET /сайт/товар??keyword=%D0%9C%D0%B0%D0%BD%D0%B5%D0%B6 HTTP/1.0" 200 113635 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
207.46.13.117 - - [12/Dec/2011:10:01:15 +0200] "/сайт/товар??keyword=%D0%96%D0%B5%D0%BB%D1%82%D1%8B%D0%B9 HTTP/1.0" 200 110564 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
207.46.199.51 - - [12/Dec/2011:10:01:13 +0200] "GET /сайт/товар??keyword=%D0%B8%D0%B7 HTTP/1.0" 200 140981 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"

Вообщем, как видите, бот бингбот просто разошёлся на сайте, мало того он тупо ищет по поиску, через каждые 5-10 секунд. Из-за него ложится весь сайт.

Добавлял в .htaccess запрет по ботам и по IP 207.46. и 65.52. - всё равно логи раздувает
SetEnvIfNoCase User-Agent "^igdeSpyder" search_bot
SetEnvIfNoCase User-Agent "^Robot" search_bot
SetEnvIfNoCase User-Agent "^msnbot" search_bot
SetEnvIfNoCase User-Agent "^Aport" search_bot
SetEnvIfNoCase User-Agent "^Mail" search_bot
SetEnvIfNoCase User-Agent "^bot" search_bot
SetEnvIfNoCase User-Agent "^spider" search_bot
SetEnvIfNoCase User-Agent "^php" search_bot
SetEnvIfNoCase User-Agent "^Parser" search_bot
SetEnvIfNoCase User-Agent "^bingbot/2.0" search_bot
SetEnvIfNoCase User-Agent "^bingbot" search_bot

<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
Deny from env=search_bot
</Limit>

правда в файле сайт.error.log изредка появляется надпись, но мне от этого не легче

[Mon Dec 12 03:54:33 2011] [error] [client 207.46.194.51] client denied by server configuration: сайт

Уважаемые, помогите советом, как избавится от этих ботов? Спасибо
Записан
*

ELLE

  • Глобальный модератор
  • 4505
  • 893 / 0
Re: Помогите атакует поисковый робот! bingbot
« Ответ #1 : 12.12.2011, 12:22:46 »
в robots.txt еще попробуйте - откройте Яндексу и Google (или кому надо), а остальным

User-agent: *
Disallow: /
Записан
*

Taatshi

  • Гуру
  • 5258
  • 481 / 2
  • Верстаем и кодим. Обращайтесь ;)
Re: Помогите атакует поисковый робот! bingbot
« Ответ #2 : 12.12.2011, 12:27:20 »
Ну, если у Вас сайт уходит в 503 Service Temporarily Unavailable от одного бота - стоит подумать над оптимизацией. запросы через 5-10 секунд обычно в аут не отправляют. Я на своих программках всяких ставлю таймаут 2 секунды - и ни один сайт еще не лег.
Записан
ВЕРСТКА, САЙТЫ ПОД КЛЮЧ, УДАЛЕНИЕ ВИРУСОВ, МИГРАЦИЯ НА JOOMLA 3, ОБНОВЛЕНИЕ  |  ОТЗЫВЫ 
Связь: telegram - Taatshi, почта - Taatshi на яндексе, Skype - Taatshi
*

kunev

  • Захожу иногда
  • 118
  • 0 / 0
Re: Помогите атакует поисковый робот! bingbot
« Ответ #3 : 12.12.2011, 12:46:39 »
Taatshi , в том то и дело, что я ставил таймаут в роботс для всех поисковиков даже по 60  и наблюдал, он его просто игнорирует, запросы всё равно сыпятся. Что касается пользователей то в среднем около 250 за сутки, но это никак не отражалось на работу, пока именно эти боты забежали. Стоит в админке фаерволл RS, в нём так же прописываю blacklist - побоку.

ELLE , кстати как грамотно закрыть в роботс поисковики в отдельности?

Да и может есть какие идеи, как запретить ботам творить поиск по сайту? Очень буду благодарен
Записан
*

ELLE

  • Глобальный модератор
  • 4505
  • 893 / 0
Re: Помогите атакует поисковый робот! bingbot
« Ответ #4 : 12.12.2011, 12:52:10 »
kunev, ну так и закрывайте - обращаясь к каждому в отдельности

User-agent: bingbot
Disallow: /

(или наоборот как выше уже написала)
таймаут не все поддерживают, поэтому игнорируют
Записан
*

kunev

  • Захожу иногда
  • 118
  • 0 / 0
Re: Помогите атакует поисковый робот! bingbot
« Ответ #5 : 12.12.2011, 13:40:06 »
ELLE, Вы меня не поняли ). Я имел ввиду, как правильно обзываются боты Google, яндекса. И как убедится в правильности названия Бота бингбот. Добавил в роботс User-agent: bingbot - побоку
« Последнее редактирование: 12.12.2011, 13:44:53 от kunev »
Записан
*

ELLE

  • Глобальный модератор
  • 4505
  • 893 / 0
Re: Помогите атакует поисковый робот! bingbot
« Ответ #6 : 12.12.2011, 13:43:15 »
Цитата: kunev от 12.12.2011, 13:40:06
ELLE, Вы меня не поняли ). Я имел ввиду, как правильно обзываются боты Google, яндекса. И как убедится в правильности названия Бота бингбот
эм, кажется вопрос стоял так
Цитировать
ELLE , кстати как грамотно закрыть в роботс поисковики в отдельности?
называются так-
Yandex
Googlebot
BingBot

кстати, у Google есть еще картиночный бот
Записан
*

kunev

  • Захожу иногда
  • 118
  • 0 / 0
Re: Помогите атакует поисковый робот! bingbot
« Ответ #7 : 12.12.2011, 13:49:52 »
ELLE, ссори у меня уже кругом голова идёт.  Добавил в Роботс
User-agent: bingbot
User-agent: bingbot/2.0
Disallow: /administrator/
Disallow: /cache/
Disallow: /images/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /support/

в логах продолжает писать

207.46.13.117 - - [12/Dec/2011:11:48:43 +0200] "GET HTTP/1.0" 200 96399 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
207.46.195.237 - - [12/Dec/2011:11:48:43 +0200] "GET HTTP/1.0" 200 113360 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
207.46.195.237 - - [12/Dec/2011:11:48:53 +0200] "GET ?keyword=%D0%B4%D0%BE HTTP/1.0" 200 110997 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
207.46.13.117 - - [12/Dec/2011:11:49:13 +0200] "GET HTTP/1.0" 200 111935 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"

Бот сканит человекоподобные урлы (

 >:(
Записан
*

ELLE

  • Глобальный модератор
  • 4505
  • 893 / 0
Re: Помогите атакует поисковый робот! bingbot
« Ответ #8 : 12.12.2011, 13:51:35 »
Цитата: kunev от 12.12.2011, 13:49:52
ELLE, ссори у меня уже кругом голова идёт.  Добавил в Роботс
User-agent: bingbot
User-agent: bingbot/2.0
а если так
Код
User-agent: BingBot
Disallow: /
Записан
*

kunev

  • Захожу иногда
  • 118
  • 0 / 0
Re: Помогите атакует поисковый робот! bingbot
« Ответ #9 : 12.12.2011, 13:56:43 »
всё равно пишет в логах  :'( капец просто. Оставил только две строчки в надежде, что он всё перекроет - не выходит. Блин может вся трабла в названии бота или как его по IP написать. Уже его корешь MJ12bot подтянулся ((
« Последнее редактирование: 12.12.2011, 14:01:01 от kunev »
Записан
*

CTPZ

  • Захожу иногда
  • 305
  • 24 / 5
Re: Помогите атакует поисковый робот! bingbot
« Ответ #10 : 12.12.2011, 13:59:36 »
Закрой доступ для всех ботов кроме Google и Яндекса или запрети доступ к сайту по IP
Записан
*

kunev

  • Захожу иногда
  • 118
  • 0 / 0
Re: Помогите атакует поисковый робот! bingbot
« Ответ #11 : 12.12.2011, 14:03:17 »
CTPZ, делал так

SetEnvIfNoCase User-Agent "^igdeSpyder" search_bot
SetEnvIfNoCase User-Agent "^Robot" search_bot
SetEnvIfNoCase User-Agent "^msnbot" search_bot
SetEnvIfNoCase User-Agent "^Aport" search_bot
SetEnvIfNoCase User-Agent "^Mail" search_bot
SetEnvIfNoCase User-Agent "^bot" search_bot
SetEnvIfNoCase User-Agent "^spider" search_bot
SetEnvIfNoCase User-Agent "^php" search_bot
SetEnvIfNoCase User-Agent "^Parser" search_bot
SetEnvIfNoCase User-Agent "^bingbot/2.0" search_bot
SetEnvIfNoCase User-Agent "^bingbot" search_bot

<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
Deny from env=search_bot
</Limit>

и так

<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
Deny from 65.52.
Deny from 207.46.
</Limit>

до одного места (((

Записан
*

CTPZ

  • Захожу иногда
  • 305
  • 24 / 5
Re: Помогите атакует поисковый робот! bingbot
« Ответ #12 : 12.12.2011, 14:10:13 »
Запрещай при помощи php
Код: php
<?php
if ($_SERVER['REMOTE_ADDR'] != '207.46.13.117' || $_SERVER['REMOTE_ADDR'] != '207.46.195.237')
//Template
else
echo 'Go fingering bing bot'
?>


Если IP много, можно цикл выполнять.
« Последнее редактирование: 12.12.2011, 14:15:03 от CTPZ »
Записан
*

kunev

  • Захожу иногда
  • 118
  • 0 / 0
Re: Помогите атакует поисковый робот! bingbot
« Ответ #13 : 12.12.2011, 14:17:20 »
CTPZ, это уже интересно ). Вопрос нужно блокировать подсети, замечал что они с разных IP заходят, дабы не плодить условий. НУ и самый глупый вопрос, куда вставлять код? )
Записан
*

ELLE

  • Глобальный модератор
  • 4505
  • 893 / 0
Re: Помогите атакует поисковый робот! bingbot
« Ответ #14 : 12.12.2011, 14:18:06 »
вот здесь посмотрите должно помочь
в .htaccess по моему вы не то блокируете, а именно
Цитировать
<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
Deny from 65.52.
Deny from 207.46.
</Limit>


Crawl-delay он все таки понимает, поставьте ему 10
Записан
*

CTPZ

  • Захожу иногда
  • 305
  • 24 / 5
Re: Помогите атакует поисковый робот! bingbot
« Ответ #15 : 12.12.2011, 14:25:21 »
Цитата: kunev от 12.12.2011, 14:17:20
CTPZ, это уже интересно ). Вопрос нужно блокировать подсети, замечал что они с разных IP заходят, дабы не плодить условий. НУ и самый глупый вопрос, куда вставлять код? )

Вариант 1
index.php переименовываешь в old-index.php

Создаешь файл index.php и пишешь:

Код: php
<?php
if ($_SERVER['REMOTE_ADDR'] != '207.46.13.117' || $_SERVER['REMOTE_ADDR'] != '207.46.195.237');
?>
index.php
<?php include 'old-index.php'; ?>
<?php else
echo 'Go fingering bing bot';
?>

Вариант 2:
Содержимое index.php изменяешь следующим образом:
Код: php
<?php
if ($_SERVER['REMOTE_ADDR'] != '207.46.13.117' || $_SERVER['REMOTE_ADDR'] != '207.46.195.237')?>
<?php else
echo 'Go fingering bing bot';
?>
где index.php - старый код.
Записан
*

kunev

  • Захожу иногда
  • 118
  • 0 / 0
Re: Помогите атакует поисковый робот! bingbot
« Ответ #16 : 12.12.2011, 15:21:35 »
ELLE, спасибо, за ссылки, оказывается не один я этим страдаю. сейчас разные варианты рассматриваю, сейчас боты крайне редко прослеживаю, т.к. пользователи повалили.

CTPZ, интересный вариант )

Спасибо Всем ++, позже обязательно отпишусь.



Записан
*

kunev

  • Захожу иногда
  • 118
  • 0 / 0
Re: Помогите атакует поисковый робот! bingbot
« Ответ #17 : 13.12.2011, 12:17:20 »
CTPZ, не запускается вообще ( белый экран
Записан
*

CTPZ

  • Захожу иногда
  • 305
  • 24 / 5
Re: Помогите атакует поисковый робот! bingbot
« Ответ #18 : 13.12.2011, 12:37:18 »
Какое из двух?
Записан
*

kostet7

  • Захожу иногда
  • 53
  • 3 / 0
  • Когда сфоткают нормально, тогда и будет аватар
Re: Помогите атакует поисковый робот! bingbot
« Ответ #19 : 17.09.2012, 09:28:04 »
У меня вообще пол дня бингбот каждую секунду ломился в админку. Что ему там надо было?
На производительность сайта вроде не повлияло, но нагрузку на сервак дало около 8-10 процентов на процессор на скале сервере на клодо. Потому и заметил, что пришел отчет, а там использовано процессорного времени в 7 раз больше чем обычно.
« Последнее редактирование: 17.09.2012, 09:33:39 от kostet7 »
Записан
*

wishlight

  • Гуру
  • 5096
  • 322 / 1
  • От 300 руб быстрый хостинг. Сервера.
Re: Помогите атакует поисковый робот! bingbot
« Ответ #20 : 17.09.2012, 11:36:57 »
подсеть забаньте что ли...
Записан
*

YaBlogo

  • Новичок
  • 1
  • 0 / 0
Re: Атакует поисковый робот! bingbot
« Ответ #21 : 19.03.2020, 14:54:40 »
Так удалось избавиться от наглого бота или нет?
Записан
*

SeBun

  • BanMaster
  • 4031
  • 259 / 5
  • @SeBun48
Re: Атакует поисковый робот! bingbot
« Ответ #22 : 19.03.2020, 22:05:52 »
Цитата: YaBlogo от 19.03.2020, 14:54:40
Так удалось избавиться от наглого бота или нет?
А почему вы интересуетесь? С тех пор 9 лет прошло, если что...  ::)
Записан
Оказываю услуги по Joomla | Миграция/Обновление | Сопровождение | IT-аутсорсинг | Недорогие домены и хостинг
1   Вверх
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться
 

В руки попал архив с программами для продвижения - помогите разобраться

Автор dm-krv

 Ответов: 8
Просмотров: 1833 		Последний ответ 06.01.2018, 12:30:53
от ChaosHead
Помогите побороть дубли title и description на страницах ( не стандартные )

Автор 40477

 Ответов: 9
Просмотров: 3790 		Последний ответ 15.12.2016, 20:14:18
от Litop
Помогите решить проблему с индексацией

Автор alexanderuss

 Ответов: 36
Просмотров: 5304 		Последний ответ 06.02.2016, 11:44:11
от Missile
Сайт не двигается в поиске! Помогите!

Автор Ruslanm

 Ответов: 8
Просмотров: 1932 		Последний ответ 29.01.2016, 23:06:31
от dmitry_stas
Как закрыть от поисковиков материалы на главной помогите

Автор guloc55

 Ответов: 1
Просмотров: 1584 		Последний ответ 19.04.2012, 14:51:43
от skai