Я поддержу мнение о том, что скорость какого-либо сайта удобно измерять вот этим инструментом:
http://tools.pingdom.com/fpt/Объясню почему: Вы увидите, какой именно скрипт или элемент сайта влияет на общее время загрузки. Google и Яндексу неважно, какие именно слагаемые дают результат в секундах.
Я люблю Joomla, и бизнес-сайты, а не блоги, делаю именно на ней. Но считается, что php-фреймворки и прочие гиганты и универсальные титаны тупят и медленно работают. Поэтому для себя (портфолио) я сделал сайт на голом php-html, без БД и CMS. А для клиентов нужна админка - и я делал сайты на Joomla, беря за основу пустой лёгкий шаблон, и делая из него красивую конфетку. Т.о. типовая index.php на моем сайте Joomla грузится моментально. Картинки там оптимизированные, да и ненужны они особо на главной странице, так же как и тяжеленные слайдеры (есть и легкие, конечно). В итоге - между моим и клиентскими сайтами разница оказалась не большая (сервер был один).
Оказалось, что самые большие тормоза были от... счётчиков! Яндекс-вебвизор, особенно тормозной OpenStat, противны все маленькие обменники, типа каталогов и т.п.
Отключите вебвизор (он нужен для аналитики, подержите неделю и хватит), уберите все остальное, ибо для продвижения каталоги - прошлый век. Оставьте яндекс-метрику или LI и хватит. Тот же Bing и Google практически незаметны (их строчки прописываются в <meta )
Так же, одно время я наивно полагал, что для 3-7 страничного сайта-визитки можно использовать CMS без БД. Ведь XML файлы легкие, быстро подгружаются в php шаблон, и такие сайты реально летают на виртуальном сервере. Но на деле скорость сайтов, где вместо БД используется XML катастрофически отличается. Глазу не сильно-то видно, а оно так.