Поздравляю
Для начала обновите версию Joomla. На главной странице у вас на иконке апдейтов ядра отображается о том что есть новая версия J! 2.5.24. Нажмите на иконку и там обновите версию J! до последней.
После зайдите в меню
Extensions => Extensions Manager и там перейдите во вкладку
Install languages.
В списке выберите Russian (2.5.24.1) и нажмите на кнопку Install.
Далее перейдите в меню
Extensions => Language Manager и выберите там русский язык по умолчанию для лицевой части сайта. После там же нажмите на вкладку "Installed - Administrator" и там выберите русский язык по умолчанию для административной панели.
После этих действий у вас будет установлена последняя версия J! 2.5 на русском языке. В Joomla 3.x делается все точно также, единственное это просто немного отличается дизайн админки.