Declarado Bien de Interés Cultural (BIC) desde 1949.
Esta robusta construcción es uno de los símbolos de identidad de la Villa.
Aunque existe alguna referencia a un torreón defensivo romano, la fortaleza se documenta en el año 931, sometiéndose en los siglos venideros a numerosas reedificaciones.
El castillo tiene forma de cuadrilátero de dimensiones majestuosas, con cubos en los ángulos y flanqueado por una puerta con arco redondeado.
Fue construido sobre el primitivo Palacio de los Ponces del siglo XIII, que se conserva aún en su interior.
Fueron los Duques del Infantado quienes reconstruyeron lo que se muestra en la actualidad. Son numerosos los avatares que se vivieron tras sus muros. En 1808 fue incendiado por los ingleses porque su señor, Pedro Alcántara de Toledo y Salm-Salm, Duque del Infantado, era servidor del rey francés José Bonaparte, y abrazó después la causa española convirtiéndose en ministro de Fernando VII.
