Новости Joomla

Человек на GitHub ускорил Joomla в 600 раз на объёме 150к+ материалов в 1700+ категориях

Человек на GitHub ускорил Joomla в 600 раз на объёме 150к+ материалов в 1700+ категориях

👩‍💻 Человек на GitHub ускорил Joomla в 600 раз на объёме 150к+ материалов в 1700+ категориях. На старте его сайт на Joomla 3 вообще не смог обновиться на Joomla 5. Пришлось делать экспорт/импорт материалов. Проделав всё это он запустил-таки этот объём данных на Joomla 5. Тестовый скрипт грузил 200 материалов из этого объёма всего за 94 секунды ))) А главная страница с категориями грузилась 20 секунд. Добавив индекс для таблицы #__content

CREATE INDEX idx_catid_state ON #__content (catid, state);
он сократил время загрузки категорий до 1 секунды. Затем наш герой решил поковырять SQL-запрос в ArticleModel, который отвечает за выборку материалов. И решил заменить тип JOIN на STRAIGHT_JOIN для категорий.
// ->from($db->quoteName('#__content', 'a'))->from(    $db->quoteName('#__content', 'a')    . ' STRAIGHT_JOIN ' . $db->quoteName('#__categories', 'c')    . ' ON ' . $db->quoteName('c.id') . ' = ' . $db->quoteName('a.catid'))// ->join('LEFT', $db->quoteName('#__categories', 'c'), $db->quoteName('c.id') . ' = ' . $db->quoteName('a.catid'))
Что сократило загрузку 200 материалов из 150к с 94 секунд до 5. К слову сказать, боевой сайт на Joomla 3 крутится на 12CPU 64GB рамы. А все манипуляции с кодом он делает на базовом 1CPU 1GB сервере и замеры скорости даны именно для базового сервера. Но это всё в дискуссии, хотя в идеале должно вылиться в Pull Requests. Мы - Open Source сообщество, где никто никому ничего не должен. Джунгли. Но человек ищет пути оптимизации Joomla и предлагает решения. Если оказать поддержку и предложить помощь хотя бы с тестированием самых разнообразных сценариев, то возможно эти улучшения смогут войти в ядро. Пусть не быстро, пусть через несколько лет, пусть не все, но войдут. Достаточно предложить руку помощи и приложить немного усилий.
Дискуссию на GitHub можно почитать здесь.@joomlafeed#joomla #community #php

0 Пользователей и 1 Гость просматривают эту тему.
  • 19 Ответов
  • 4270 Просмотров
*

Helenium

  • Осваиваюсь на форуме
  • 20
  • 1 / 0
Собственно проблема заключается в следующем: все работало отлично, изменений на сайт никаких не вносилось, кроме изменения цен и добавления изображений в карточках товаров VirtueMart вручную. Но сегодня при очередном переходе по пунктам меню в админке, на кнопках, и в чекбоксах (опубликовано или например, рекомендуемый товар) вместо привычных галочек и крестиков появились символы, пустые прямоугольники, иероглифы. На разных устройствах и в разных браузерах проблема та же.
Если кто знает что с этим делать, пожалуйста напишите.
Кодировки везде utf-8.
Восстановление резервных копий проблему не решило.



P/S К сожаление не вставляется скриншот в сообщение.
*

KKAAZZOO

  • Живу я здесь
  • 2288
  • 119 / 9
Изменения в конфигурации хостинга были?
*

Helenium

  • Осваиваюсь на форуме
  • 20
  • 1 / 0
С хостингом целый день переписывалась вчера. Не признаются.
Как вариант пробовала обновиться до Joomla 3.5, естественно все стало еще хуже.
Добрый хостинг за символические деньги, восстановил резервную копию (т.к. ftp не позволяет архив такого объема распаковывать) и базу за прошлые числа.
Версия Joomla вернулась к старой, но вопрос не решился. А самое интересное остались следы от j 3.5 (фон входа в админку светлее гораздо, более крупное окно авторизации), компонент CSVI стал выдавать сообщение об ошибке (видимо с j 3.5 дружить не будет).
*

Helenium

  • Осваиваюсь на форуме
  • 20
  • 1 / 0
Хостинг все исправил, видимо они что-то у себя поменяли.
*

Helenium

  • Осваиваюсь на форуме
  • 20
  • 1 / 0
В общем,  это был вирус на сайте, который внедряется через файл .htacces. Тех поддержка в строки вредоносного скрипта вписывала слово Fonts, и проблема на один день решалась. Пока сами все не исправили и не убили вирус.
*

baden13

  • Новичок
  • 7
  • 0 / 0
Добрый вечер! Та же проблема, подскажите более детально, как избавиться? моя тех поддержка отказывается помогать.
*

voland

  • Легенда
  • 11026
  • 588 / 112
  • Эта строка съедает место на вашем мониторе
*

gartes

  • Завсегдатай
  • 1859
  • 142 / 6
  • Е = mс²
Автор: voland
Цитировать
Лечить

Аа... А вы voland больше что ваще не можете..... ( Это будет первый мин == если я это не решу а вы кроме "ЛЕЧИТЬ" не чего не подсказали.  :laugh: Репутация: +470/-82
)

Ладно.. В первую очередь Helenium задайте вопрос своим хостерам..
как ответят то напишите что ответили. и 2 это таблицы.... проверьте что бы везде стоял UTF 8
 
Все Удачи! ))
« Последнее редактирование: 28.04.2016, 04:52:39 от gartes »
*

Helenium

  • Осваиваюсь на форуме
  • 20
  • 1 / 0
В моем случае проблема решалась так.
1. Смотрите файл .htacces (Скрипт в начало этого файла вставлял вот эти строки:
RewriteRule !(js|ico|gif|jpg|png|css|swf|flv|libraries|maint|admin|login|logout|reg) index.php [QSA,L]   - их удаляем)
2. Ищем и удаляем вот такие файлы:
./libraries/joomla/application/template.html
./libraries/joomla/application/joomla-app.php    - это тоже файлы вредносного скрипта (удаляем)
3.domains/имя вашего домена.ru/html/includes/framework.php: вставка постороннего кода (я его не нашла, переписана большая часть файла; скопировала код из аналогичного файла с другого домена, вроде бы все работает, но тех поддержка не советовала так поступать)
/html/components/com_finder/helpers/e5nbwvcxef.php
/html/components/com_rsform/views/memcache-7c.php
/html/components/com_jce/editor/tiny_mce/plugins/conf-d3f.php
html/administrator/components/com_categories/views/categories/tmpl/memcache-6d7.php
/html/components/com_banners/models/cp1251-f9.php
/html/administrator/components/com_csvi/sql/updates/sort-0ab.php
/html/administrator/modules/mod_menu/memcache-a80.php
/html/administrator/components/com_content/cp1251-16.php
/html/plugins/finder/content/sql-6f9.php
/html/cgi-bin/sql-c96.php
*

Helenium

  • Осваиваюсь на форуме
  • 20
  • 1 / 0
Обязательно проверьте свой компьютер на вирусы.
Попросите тех поддержку просканировать ваш сайт на вредоносные скрипты (в крайнем случае за деньги, они это точно сделают), тогда они пришлют вам список файлов и папок, которые надо удалить. Моя техподдержка нашла те, которые я упомянула, в предыдущем посту.
Попробуйте проверить сайт на вирусы через он-лайн антивирусы (но знающие люди говорят что это полная ерунда), в моем случае они ничего плохого не находили.
И обязательно смотрите файл .htacces, именно он и дает иероглифы в админке, и взламывает ваш сайт.
Удачи.
*

Helenium

  • Осваиваюсь на форуме
  • 20
  • 1 / 0
Сутки эта дрянь не возвращалась, сейчас, смотрю опять все файлы с вирусом на месте.
Буду дальше с техподдержкой переписываться.
*

Helenium

  • Осваиваюсь на форуме
  • 20
  • 1 / 0
И еще, смена паролей на все что только можно, и смена прав на системные файлы и папки ничего не дает. Скрипт опять меняет права на 755.
*

Taatshi

  • Гуру
  • 5258
  • 481 / 2
  • Верстаем и кодим. Обращайтесь ;)
Helenium, у Вас один сайт на хостинге? Кто хостер?
ВЕРСТКА, САЙТЫ ПОД КЛЮЧ, УДАЛЕНИЕ ВИРУСОВ, МИГРАЦИЯ НА JOOMLA 3, ОБНОВЛЕНИЕ  |  ОТЗЫВЫ 
Связь: telegram - Taatshi, почта - Taatshi на яндексе, Skype - Taatshi
*

gartes

  • Завсегдатай
  • 1859
  • 142 / 6
  • Е = mс²
Смотрите в логах сайта по обращению через POST ко всем подозрительным файлам.
Если все возвращается то что то вы не до терли.
А то что это вирус 100%!
*

baden13

  • Новичок
  • 7
  • 0 / 0
В моем случае проблема решалась так.
1. Смотрите файл .htacces (Скрипт в начало этого файла вставлял вот эти строки:
RewriteRule !(js|ico|gif|jpg|png|css|swf|flv|libraries|maint|admin|login|logout|reg) index.php [QSA,L]   - их удаляем)
2. Ищем и удаляем вот такие файлы:
./libraries/joomla/application/template.html
./libraries/joomla/application/joomla-app.php    - это тоже файлы вредносного скрипта (удаляем)
3.domains/имя вашего домена.ru/html/includes/framework.php: вставка постороннего кода (я его не нашла, переписана большая часть файла; скопировала код из аналогичного файла с другого домена, вроде бы все работает, но тех поддержка не советовала так поступать)
/html/components/com_finder/helpers/e5nbwvcxef.php
/html/components/com_rsform/views/memcache-7c.php
/html/components/com_jce/editor/tiny_mce/plugins/conf-d3f.php
html/administrator/components/com_categories/views/categories/tmpl/memcache-6d7.php
/html/components/com_banners/models/cp1251-f9.php
/html/administrator/components/com_csvi/sql/updates/sort-0ab.php
/html/administrator/modules/mod_menu/memcache-a80.php
/html/administrator/components/com_content/cp1251-16.php
/html/plugins/finder/content/sql-6f9.php
/html/cgi-bin/sql-c96.php

Премного благодарен! В моем случае исполнил только первые два пункта, по третьему все чисто. И файл .htacces заменил на такой же из последнего бэкапа. Пока все в норме, но я так понимаю радоваться рано.
Для информации у меня на хостинге( besthoster) залито 4 сайта на Joomla, везде одно и тоже!
Пока почистил только один, пк проверил на вирусы - не обнаружено, сменил пароль на хостинг, онлайн сканеры ничего не находят.
Занимаю выжидательную позицию.
Держите в курсе событий)
*

voland

  • Легенда
  • 11026
  • 588 / 112
  • Эта строка съедает место на вашем мониторе
Не страдайте ерундой.
Половина всех шеллов давно именуется случайным образом, заливается в случайную папку да еще и содержимое бывает разным.
То что где-то совпадает - это на затравку, чтоб считали что "всё вычистили"
*

Helenium

  • Осваиваюсь на форуме
  • 20
  • 1 / 0
Не страдайте ерундой.
Половина всех шеллов давно именуется случайным образом, заливается в случайную папку да еще и содержимое бывает разным.
То что где-то совпадает - это на затравку, чтоб считали что "всё вычистили"
Трудно не согласиться, вычистить руками это нереально, через сутки все возвращается.
Этот способ помогает восстановить работу сайта хотя бы на день, но в корне вопрос не решает.
Еще я заметила, скрипт создает множество статей (см. менеджер материалов), но и из базы их удалять не забывает.
Если кто знает, как наверняка решить эту проблему -  пишите.
Платные услуги не интересуют, за деньги тех поддержка хостинга может сделать.
*

voland

  • Легенда
  • 11026
  • 588 / 112
  • Эта строка съедает место на вашем мониторе
Трудно не согласиться, вычистить руками это нереально, через сутки все возвращается.
Этот способ помогает восстановить работу сайта хотя бы на день, но в корне вопрос не решает.
Еще я заметила, скрипт создает множество статей (см. менеджер материалов), но и из базы их удалять не забывает.
Если кто знает, как наверняка решить эту проблему -  пишите.
Платные услуги не интересуют, за деньги тех поддержка хостинга может сделать.
В разделе Безопасность всё написано много-много раз. Разжевано каждому.
Тут либо уметь читать и следовать рекомендациям, либо пусть делают за вас.

ЗЫ. Далеко не на каждом хостинге грамотная техподдержка.
*

baden13

  • Новичок
  • 7
  • 0 / 0
Пару дней назад воспользовался данной инструкцией: http://fstrange.ru/coder/php/cure-joomla-phpshell.html , вычистил два сайта, в корне третьего было слишком много внедрений, поэтому его удалил под чистую. Пару дней мониторю, все нормально, нового ничего не появляется. Так что можете воспользоваться, там же предложение о платной услуге, это если сами не разберетесь.
Осталась пара моментов:
1. От поддержки мне регулярно приходят данные по пиковым нагрузкам(Top process), и с момента появления вируса там появились подобного рода строки: "httpd [xn--b1adilkld___.compzd____.ru] [/?Married-Bbw-Warren-Ohio/]" первая часть понятно, данные по домену, а вот вторая, со знаком вопроса, не пойму откуда, кто-нибудь знает что это? Стоит переживать и что-либо предпринимать? Вроде на сайте нет ничего такого..
2. Сайты вылетели из поисковиков, Google пишет сайт был взломан, в сниппетах отображается всякая ерунда порнографического уклона, нужно подождать пока проиндексируется или надо что-то предпринять? может есть вариант как то ускорить восстановление?
*

wishlight

  • Гуру
  • 5073
  • 319 / 1
  • От 300 руб быстрый хостинг. Сервера.
Как обычно. Переносим сайты на нормальный хост, где не будут расползаться вирусы и лечим с обновлением и сменой паролей.
Чтобы оставить сообщение,
Вам необходимо Войти или Зарегистрироваться
 

Joomla 3 не пускает в админку (просто перезагружается страница) (гуглил, нашёл решение, не помогло)

Автор lifelover2b

Ответов: 11
Просмотров: 4891
Последний ответ 05.06.2025, 04:48:29
от andrey222
По поводу сессий Joomla 3

Автор azm1n

Ответов: 0
Просмотров: 1279
Последний ответ 25.05.2025, 09:26:17
от azm1n
Стоит ли ставить плагин rel="canonical" на Joomla 3

Автор azm1n

Ответов: 2
Просмотров: 1645
Последний ответ 09.05.2025, 12:39:18
от azm1n
Вывести поля профиля Joomla

Автор romagromov

Ответов: 11
Просмотров: 2848
Последний ответ 28.04.2025, 10:25:44
от sivers
Максимальная версия PHP для Joomla 3

Автор Dram

Ответов: 8
Просмотров: 3265
Последний ответ 27.03.2025, 10:40:29
от wishlight