Construit sur un ancien site romain, puis wisigoth, par les Omeyyades d'Espagne à partir de 844, l’alcazar fut modifié à plusieurs reprises durant la période musulmane, notamment sous les Almohades. En 884, la forteresse contribua à contrecarrer une invasion de la ville par les Vikings. Le palais islamique primitif est de la même époque que l’Alhambra de Grenade. Au 12è siècle, l'Alcázar ou palais des Bénédictions fut ajouté et les murailles et fortifications renforcées