El castillo se encuentra situado en lo alto del cerro de Altafría, dominando el valle del río Cea.
Aunque la villa no aparece documentada hasta el siglo XII, en otros documentos del siglo X se hace referencia a una cierta fortificación que construyó un repoblador hispano-musulmán llamado Mazarefe o Mazaref y que podría referirse a Valderas. Los bani-Mazaref pertenecían a una familia de alto linaje mozárabe, repobladores del valle del Duero
Las citas históricas sitúan al monarca leonés Fernando II como el constructor de esta fortificación defensora, en el siglo XII, para proteger la línea del Cea de los ataques de Alfonso VIII de Castilla.
En el siglo XIV pertenecía a Juan Álvarez Osorio, señor de las Siete Villas de Campos, que abandona esta residencia habitual en los siglos XVI y XVII.
Cuenta la leyenda que el Castillo conserva un pasaje subterráneo, muy profundo, y que comunicaba antaño con el Castillo de Benavente, por un lado, y por el otro, con el Castillo de Grajal de Campos.
