Проблема: часть несуществующих страниц вместо /404.html переадресовывает на http://site.ru/?format=h - Joomla 1.5: Настройка и оптимизация

я sh404SEF использую, там вроде с 404-ой страничкой проблем нет

Подробности надо. SEF включен? Встроенный или внешний компонент?

что вы имеете ввиду под фразой проблем нет?
мне нужно добиться на сайте чтобы все страницы переадресовывали на страницу с урлом /404.html а не просто отдавали ошибку 404 а урлы при этом оставались теми же и поисковики их индексировали, тем самым плодя дубли страниц

какие ещё дубли страниц? 404 страница выводится в том случае если страницы вообще не существует. и да компонент работает именно так как вы описали.

страница то выводится но урл у страницы какой? если урл не переадресовывает на /404.html то эти урлы индексируются плодя тем самым дубли с разными урлами но одинаковым содержанием "ошибка 404" это влияет на нормальное ранжирование сайта в поиске.
Но вопрос не в этом, а в том, что:
часть страниц упорно переадресовывается на http://site.ru/?format=html вместо /404.html как решить данную проблему?

Не знаю ответа, имхо на 1.5 обязательно нужно sh404SEF ставить, т.к. Joomla всё равно создаёт кучу дублей, которые можно склеить только этим компонентом. Так что лучше поставить компонент и не париться. 404 страничка в нём работает как надо.

на сайте установлен и настроен sh404SEF

создайте материал с названием - __404__

и в настройках компонента пошуруйте