Este extenso complejo contiene una serie de salas y espacios palaciegos de varios estilos y épocas diversas. Las torres frontales y las murallas, que datan de 913, fueron construidas por Abderramán III, el emir de Córdoba, posiblemente sobre las ruinas de un acuartelamiento romano.
Sucesivos califas añadieron espléndidas aportaciones arquitectónicos durante los siglos siguientes. Más tarde, llegaron los legados de los reyes cristianos, en particular el de Pedro I El Cruel, en el siglo XIV. En el siglo XVI, Carlos V construyó los salones que llevan su nombre. Buena parte de la estructura fue sometida a importantes obras de remodelación en el siglo XVIII debido a los daños sufridos por un terremoto.