Construït amb mamposteria i carreus, a les seves parts més nobles, constitueix un dels bastions medievals més formidables que es conserven a Extremadura i a la frontera ibèrica i un dels millors exemples de l'arquitectura medieval. Declarat Monument Nacional el 1924.
El Castell i les àrees defensives, que s'escalonen al llarg de la vessant del turó on s'assenta, van començar a construir-se al segle XIII.
Àlvaro de Luna i Beltrán de la Cueva van realitzar importants reformes al castell al llarg del segle XV, com la seva potent torre de l'Homenatge i la torre dels Cinc Pics, ambdues comunicades a través d'un gran arc apuntat amb pont llevadís.
Diverses dependències envolten els seus patis d'armes com l'església de Santa Maria del Castell, d'origen romànic tardà, avui sense culte.