Чтоб открывало как RSS, надо чтоб сервер перед выводом текста отдал браузеру правильный заголовок:
header('Content-Type: application/rss+xml; charset=UTF-8');
это должно быть сделано перед выводом любого текста. т.е. где-нибудь в начале скрипта, отдающего RSS. Если раньше работало, а потом перестало, значит что-то стало выводиться еще до отдачи заголовка. Возможно, какая-нибудь ошибка присутствует или что-то еще.
Попробуйте в индексе шаблона (сверху) вставить такой код:
if(JRequest::getString('type', '') == 'rss'){
ob_clean();
header('Content-Type: application/rss+xml; charset=UTF-8');
}
Здесь, если передан тип=рсс, то сперва очищается буфер вывода, а потом отдается заголовок RSS.
Если не поможет, значит причина в чем-то другом.