JCrawler или альтернатива - Карта сайта

Начну с того что для одного моего сайта карта стала тотальной проблемой. Суть в том что у меня там более 1500 страниц. На этом фоне бесплатные онлайн-сервисы отпадают. Софт для генерации сайта работает некоректно, единственный более-менее нормальный каким то боком находит более 20000 страниц, что настораживает. Из компонентов для Joomla ничего кроме JCrawler не работает (использую Joomla версии 1.5.23). Хвалёный Xmap плюется ошибками. Проблема с JCrawler состоит в том, что компонент не может нормально обработать всех страниц. Тоисть при установке 20ти потоков ему не хватает времени, выбивает ошибку 504, при 30 и более 30-40% страниц вылетают с ошибками от 500 до 504, но при этом они рабочие и нормально открываются браузером. но это сейчас, при 1,5к страниц, а дальше ведь будет больше.

Собственно кто сталкивался с подобным: чем можна решить проблему?