Palaca je izgrađena na temeljima arapskih građevina. Nakon radova na zgradi pronađena je nasridska pločica iz 13. stoljeća i druge elemente. Palaca je bila u istoj obitelji od Reconquiste Jereza u 13. stoljeću. U 18. stoljeću prošla je veliku reformu koja joj je dala neoklasični izgled koji Palaca danas ima. Također je u 18. stoljeću rođen u kući José de la Serna y Martínez de Hinojosa, prvi grof Andi i posljednji namjesnik Perua. U čast njegove osobe palaca se naziva Palaca del Virrey Laserna. Od tada je bila redovita rezidencija grofova Andi.