Компонент чтения логов - Расширения форумчан

Преамбула и вводная задача

Многие разрабатывают свои расширения и при этом не используют логирование действий и/или ошибок своего расширения или же разрабатывают собственный логгер, почему-то полностью игнорируя уже имеющийся штатный логгер Joomla.
Как правило, причины две:
1. не умение пользоваться JLog
2. логи неудобно просматривать

Если с первой проблемой достаточно просто справиться, просто изучив документацию ( https://docs.joomla.org/Using_JLog#Logging_a_specific_log_file ), то вторая проблема действительно стоит ребром: необходимо либо выкачивать лог по ftp либо просматривать его через файл-менеджер в панели хостинга, оба варианта так себе, но иного решения нет (во всяком случае, я не нашел, поправьте меня, если не прав)

Решение

Компонент просмотра сохраненных логов ядра и расширений Joomla

Возможности:
– чтение файлов логов и вывод их содержимого в табличном виде в админке
– авторазворачивание json-строки сообщения при просмотре лога в админке
– возможность скачать файл лога в формате CSV (два варианта: классический и специально для открытия в excel без плясок с бубном)
– возможность удалить файл лога
– (upd 1.2.0) возможность чтения файла лога ошибок PHP (при условии, что он установлен в php.ini и доступен для чтения с сайта)
– (upd 1.3.0) архивирование файла лога в архив с именем файла лога + текущая дата и время (при условии подключенного расширения php-zip), файл лога при этом не очищается и не удаляется, архив сохраняется в папку, указанную в параметрах компонента, по умолчанию /tmp

Требования:
– Joomla 3.2 и выше (задействован com_ajax)
– PHP 5.6 и выше (ну тут сами понимаете  )

Минус: файл лога читается и выводится целиком, если он большой, то это займет время, создаст нагрузку на ресурсы и трафик, поэтому
Рекомендация разработчикам расширений: при интенсивном логировании предусмотрите авторазбиение логов на части, по типам задач, по периодам, еще как-либо, но чтобы логи ваши не весили мегатонны 

Добрый день!

У меня логи оплаты самописного компонента формируются в таком формате:

Сам файл находится тут administrator/logs/robokassa.log и виден в Вашем компоненте.

Проблема одна - не отображаются данные:
Показано записей: 0

Как можно решить эту проблему без изменения существующей структуры лога?

Спасибо!

никак не решить эту проблему, т.к. ваш лог пишется самописным логгером, а не логеером Joomla
могу предложить писать в лог сообщение в джейсоне, которое потом можно будет развернуть в читабельный массив после допила

никак не решить эту проблему, т.к. ваш лог пишется самописным логгером, а не логеером Joomla
могу предложить писать в лог сообщение в джейсоне, которое потом можно будет развернуть в читабельный массив после допила

Немного странное решение, но я, разумеется, говорю это как дилетант.
Предполагал, что возможно внести в код компонента простое условие, при котором он бы распознавал формат лог-файла и выводил его в удобноваримом виде:

логи Joomla - в виде таблицы, как сейчас
логи, подобные моему - как текст (без форматирования)

Ведь там и там из .log файла чтение идет, без всяких json
 

На самом деле логи Joomla тоже текстовые, как один текст от другого отличить?
А вообще ничего странного нет: не надо собственных костылей, используйте уже имеющееся апи Joomla

А еще у вас проблема с безопасностью: если перейти по адресу site/administrator/logs/robokassa.log, то я смогу прочитать ваш лог и получу достаточную информацию об обороте средств через ваш сайт

На самом деле логи Joomla тоже текстовые, как один текст от другого отличить?
А вообще ничего странного нет: не надо собственных костылей, используйте уже имеющееся апи Joomla

А еще у вас проблема с безопасностью: если перейти по адресу site/administrator/logs/robokassa.log, то я смогу прочитать ваш лог и получу достаточную информацию об обороте средств через ваш сайт

Да, Вы правы. Спасибо за ответ.

Добавил авторазворачивание json-строки сообщения при просмотре лога в админке
Фикс mime-типа скачиваемого файла лога

Для тех, кто успел поставить версию 1.0.0: эта версия не содержала указателя на автоматический сервер обновлений, пожалуйста, сделайте обновление на новую версию вручную.

Сделай расшифровку с поиском)) для людей не в теме будет манна небесная.

Сделай расшифровку с поиском)) для людей не в теме будет манна небесная.

Вадим, не понял тебя, что именно расшифровывать необходимо? подробнее пожалуйста

при интенсивном логировании предусмотрите авторазбиение логов на части, по типам задач, по периодам, еще как-либо, но чтобы логи ваши не весили мегатонны

Это должно быть в настройках компонента.

Это должно быть в настройках компонента.

достаточно проблематично, т.к. просто так на лету разбить на части и внедрить пагинатор не получится, использовать временные таблицы проблематично (представь, что в логе лям строк, очистили таблицу, залили в нее лог, затем начинаем отдавать кусками, - сколько времени займет операция?), хранить большой лог в памяти как состояние модели - вообще бред, других вариантов не вижу

Алекс, разбиение нужно делать не на факте выдач  лога в админку, а в процессе записи. Ты должен перехватить запись в файл и обработать ее по установленным пользователем параметрам. Как минимум, писать в разные файлы.

@Taatshi я не делаю запись в файл ) я читаю файлы, которые пишут другие, кто угодно, но не я )) этот компонент - просто инструмент для чтения файлов логов, не более )

Я это понимаю. Пишет Joomla, Тебе нужно этот процесс перехватить и модифицировать. Впрочем, как знаешь.

Ну нет, ничего перехватывать и модифицировать я не буду, да и в JLog нет триггеров, чтобы можно было что-то нормально без хаков перехватить, а что-либо хакать я не буду, и так вся Joomla на костылях ))

обновление:
- исправлен баг с выводом json с глубокой вложенностью
- поддержка кастомных колонок

обновление:
- понижено требование к версии php, теперь минимальная - 5.6
- возможность чтения файла лога ошибок PHP (при условии, что он установлен в php.ini и доступен для чтения с сайта)

Думаю, что была бы полезна такая фича, как архивирование. Задать в настройках путь до папки с архивами и в меню добавить кнопку "Архивировать" рядом с "Удалить".
Когда ежедневных логов скапливается много вместо удаления было бы самое то. И в селекте список маленький и архивчик на всякий случай 

рассмотрю такой вариант ) реализуемо, только лог php отдельно висит и его после архивации не удалить

рассмотрю такой вариант ) реализуемо, только лог php отдельно висит и его после архивации не удалить

Спасибо! А php-лог как раз совсем не важен 

Думаю, что была бы полезна такая фича, как архивирование

реализовано в 1.3.0 от 2019-02-10

реализовано в 1.3.0 от 2019-02-10

Отличная работа! Единственное пожелание - все-таки настраивать путь для папки с архивами

Обновление 1.3.1:
- полностью исключен jQuery (спасибо @Septdir)
- в параметрах можно указать папку сохранения архивов логов, по умолчанию /tmp

Обновление 1.3.1:
- полностью исключен jQuery (спасибо @Septdir)
- в параметрах можно указать папку сохранения архивов логов, по умолчанию /tmp

Логично было бы, чтобы архивы ПЕРЕМЕЩАЛИСЬ в указанную папку, а не оставались в общей.

архивы изначально создаются в той папке, которая в настройках указана, зачем лишнее движение по перемещению куда-либо? создайте отдельную папку в пределах сайта и укажите её, будет вам нужное только вам место, это всё сильно индивидуально

архивы изначально создаются в той папке, которая в настройках указана, зачем лишнее движение по перемещению куда-либо? создайте отдельную папку в пределах сайта и укажите её, будет вам нужное только вам место, это всё сильно индивидуально

Прошу прощения, что некорректно выразился. Ожидал таких действий при нажатии кнопки:
1. Создается архив в нужной папке
2. Оригинал удаляется

2. Оригинал удаляется

нет, как раз специально оригинал не удаляется, т.к. не всем и не всегда это необходимо, если вам это надо - просто нажмите ещё одну кнопку

.. и не всегда это необходимо

Наверное, если есть один какой бесконечный лог, данные постоянно дописываются в его конец (ну типа error.php). Если логи ежедневные (как у меня), то разумеется нечего их оставлять после архивирования. Еще раз повторюсь, что обычно логика архивирования у любого расширения Joomla такая: отправить в архив - это именно ПЕРЕМЕЩЕНИЕ в другую папку (категорию и т.д.).
В любом случае огромное спасибо за проделанную работу.

UPDATE: релиз 1.3.3 снимает любые "хотелки", все супер!!!