Как разбить выполняемую работу на удобоваримые сервером куски? - Разработка расширений для Joomla

Наверно есть какие-то для это приёмы, ведь akeeba backup как-то работает, создавая архивы огромного сайта.

Для запросов существует понятие LIMIT. А почему вид должен выполнять запросы в БД?

Уберите подзапрос, сделайте либо отдельный запрос, либо внутреннее присоединение.

AJAX запросы. т.е. при каждом запросе выполняем какую-то маленькую часть работы, которая заведомо успевает выполнится, и возвращаем остаток сколько еще надо обработать. пока есть остаток - выводим прогрессбар, когда не остается - финальное сообщение.

А какая у вас задача стоит? Вы сделали запросы в цикле, как я понимаю, плюс не просто запрос, а с вложенным подзапросом. Посмотрите, сколько интераций выполняет цикл и посчитайте объем запросов в базу. И поймете, как делать нельзя. Возможно, перед циклом нужно сделать несколько запросов, взять значения и поместить в переменные, вместо того, что бы при каждой интерации делать запрос в базу. Опишите задачу, мы подскажем алгоритм.

Еще один вопрос: кто запускает задачу, пользователь или крон?

пользователь их панели компонента в админке.

Другими словами, клиенту загружается js-скрипт (это делается в виде), который запускает периодически php-скрипт на сервере, отдавая ему команды.

Например, при первом запуске запускается счетчик, который считает время выполнения и определяет количество запросов, которое может выполнить скрипт за, к примеру, 10 секунд.

В цикле, как я понимаю, идет в базу запрос адреса, а затем вызывается метод проверки этого адреса

AND NOT EXISTS(SELECT virtuemart_media_id FROM #__virtuemart_product_medias WHERE virtuemart_media_id = m.virtuemart_media_id )

А, всё, я понял, что Вы хотели. Вот, о чём говорили коллеги:

Вывод - переходить к AJAX?

Поэтому придется делать поэтапное решение задачи.

SELECT 
  `file_title`,
  `file_url`,
  `published`,
  `virtuemart_media_id`
FROM #__virtuemart_medias AS m
LEFT JOIN #__virtuemart_product_medias AS pm USING(virtuemart_media_id)
WHERE m.file_type = 'product'
AND pm.virtuemart_media_id IS NULL

который сейчас за 2 минуты возвращает какой-то отображаемый результат, то как разбить выполняемую им задачу на куски, ставить LIMIT X,Y в конце запроса и каждый раз через AJAX передавать новые X,Y?

не может этот запрос выполняться 2 минуты)

WHERE m.file_type = 'product'
AND pm.virtuemart_media_id IS NULL

WHERE pm.virtuemart_media_id IS NULL 
AND m.file_type = 'product'

А если местами поменять:

Похоже чуть быстрее ответ.

SELECT 
  `file_title`,
  `file_url`,
  `published`,
  `virtuemart_media_id`
FROM #__virtuemart_medias AS m
LEFT JOIN #__virtuemart_product_medias AS pm USING(virtuemart_media_id)
WHERE pm.virtuemart_media_id IS NULL
HAVING m.file_type = 'product'

Получается что-то с настройками VPS? Что можно в этом случае там проверить и исправить?

но по часам ответ на экране был примерно через теже 1,5 минуты, может чуть быстрее.

Оу, ну тут вообще искать иголку в стоге сена...