Ускорить можно все вся (в разумных пределах)
Для начала, анализ на железа серверной стороне, конфигурация веб сервера и php (буфера памяти, лишние dll)
Затем
кэширование joomla
и настройки самого фабрик (объединить в один файл J скрипт, отключить отладку, включить кэширование запросов)
Ну это - на поверхности.
Затем танец с бубнами, если не помогло, перехватываем сгенерированные формы и вместо фабрик вызываем в нужных местах (без программиста не обойтись)
фабрик интерпретирует описания таблиц и генерит формы.
вот как то так.
Или взять и самому сваять формы на таблицах, описанных и созданных в фабрик - но это на самый край.
При этом возможность настраиваемости пропадет.
Я для себя фабрик использую как моделирующую среду при проектировании программ. Если устраивает быстродействие, то оставляю.
иначе приходится шаманить
Да, еще возможно, необходимо пересмотреть логику и структуру таблицы (начиная с нормализаии или денормализации данных используемых в задаче)