Чужие ссылки сами по себе не появляются. Одна из самых распространенных причин - использование левых сборок Joomla и варезные шаблоны. Все, что скачиваете не с официальных сайтов, попадает в группу риска - там может быть что угодно - от ссылок до бакдоров и шеллов (и, как правило, так оно и есть). В вашем случае три пути решения.
1. Проверить сайт айболитом, выявить малварь и удалить (не панацея).
2. Если знаний недостаточно - скачать движок и компоненты с официального сайта и сделать перенос сайта.
3. Нанять человека, который за небольшую сумму выполнит аналитику вашего сайта и удалит вирусы, попутно закроет уязвимости.