Pertenece en propiedad a la Casa de Alba. Fue levantado entre los siglos XV y XVI, de estilos gótico-mudéjar al renacentista y es uno de los principales inmuebles de la ciudad, por su valor histórico, arquitectónico, artístico y por la importancia de sus bienes muebles.