Sitado fóra das murallas preto da Praza Maior, este palacio é obra de diferentes épocas, desde o século XV ao XVIII. Pertenceu á familia Carvajal, da cal era parente Manuel Godoy, primeiro ministro do rei Carlos IV. Actualmente é a sede do Colexio de Arquitectos, onde se celebran actividades culturais.