В общем сделал то что мне было надо. И походу комментарии тоже будут нормально отображаться.
От комментариев я отказался, потому как тут на форуме описана интеграция для последней версии, а у меня при обновлении выдает ошибки.
Так вот, что касается самого процесса.
Для начала открываем ссылку в новом окошке, для этого в файле
public_html\components\com_joomgallery\classes\interface.class.phpменяем в строке
267 вот это
$output .= ' <a target="_blank" href="'.$link.'" class="jg_catelem_photo">';
на это
$output .= ' <a href="'.$link.'" target="_blank" onClick="popupWin = window.open(this.href, \'contacts\', \'location,width=400,height=300,top=0,scrollbars=yes\'); popupWin.focus(); return false;">';
затем для того чтобы выводился только компонент без всех фич сайта меняем в файле
public_html\components\com_joomgallery\includes\joom.javascript.php
в строке
285 вот это
$link = JRoute::_('index.php?option=com_joomgallery&func=detail&id='.$id.$Itemid_jg.);
на это
$link = JRoute::_('index2.php?option=com_joomgallery&func=detail&id='.$id.$Itemid_jg.'&no_html');
http://joomlaforum.ru/index.php/topic,8659.0.html
Изменяем редирект после проставления оценки фотографии, для этого в файле
public_html\components\com_joomgallery\includes\joom.votepic.phpменяем в строке
67 вот это
$mainframe->redirect(JRoute::_('index.php?option=com_joomgallery&func=detail&id='.$id._JOOM_ITEMID, false)
на это
$mainframe->redirect(JRoute::_('index2.php?option=com_joomgallery&func=detail&id='.$id._JOOM_ITEMID.'&no_html', false)
Вот что у меня получилось
при клике на картинке в категории открывается новое окошечко, в котором видим исключительно то что нам нужно

а вот так оно выглядит когда просматриваем изображение в оригинальном размере

ну там еще осталось доработать стилями внешний вид, а так функциональность лично меня на данный момент устраивает.
Правда когда будут комментарии то в этом окошечке наверное будет подгружаться весь шаблон, потестить не получилось, потому как от комментариев к изображениям на данный момент вынужден отказаться.