Enrique III, a finales del siglo XIV, concedió la villa de Adrada al Condestable Ruy López Dávalos quien mando construir la fortaleza de sillería y mampostería granítica, aprovechando los sillares de una iglesia preexistente. Un templo gótico del que aún persisten, integrados en el castillo, el ábside, el arco de triunfo y algunas columnas y muros.

En el siglo siguiente el edificio experimenta notables reformas, se construye la torre del homenaje y un gran cubo artillero. Gracias a estas obras el edificio se adapta a las nuevas necesidades de protección frente a la artillería, cuyo uso se generaliza en esa época.

Con Juan II el castillo pasa a manos de Don Álvaro de Luna, pero tras su caída en desgracia y ejecución en 1453, volvió a manos de la corona, hasta que su sucesor Enrique IV, lo cede a su favorito, Don Beltrán de la Cueva. Quedará en manos de su familia, con el título de marquesado hasta el siglo XVI. En este siglo, cuando se habían ya olvidado los conflictos interiores, el castillo se transforma en palacio renacentista porticado, según la moda del momento. En el XVII pasa a pertenecer a la casa de Montijo, familia que lo detenta hasta mediados del siglo XIX, en que pasa a la de Alba. El castillo sufrió un notable ruina a los largo del siglo a lo largo del siglo XX, hasta que a principios del siglo XXI se acomete su rehabilitación que ha llevado aparejada transcendentes excavaciones arqueológicas.