Les vestiges du Château Ducal occupent le sommet d’un éperon rocheux naturellement facile à défendre, à 60 mètres au-dessus des rivières la Sienne et la Bérence. Le château est mentionné dans un document datant de 832. Il est fortifié une première fois en 1091 par Henri Beauclerc, l’un des fils de Guillaume le Conquérant.
Durant tout le Moyen Âge, le site abrite une garnison placée sous l’autorité du pouvoir qui domine alors la région. Les Normands s’y succèdent d’abord aux Français, puis aux Navarrais et aux Anglais, avant que le château ne repasse aux Français à la fin de la guerre de Cent Ans. Son rôle devient particulièrement important au cours de ce conflit. Il est assiégé et pris à deux reprises par les troupes françaises : en 1378, sous le commandement de Bertrand Du Guesclin, puis en 1449, sous celui d’Arthur de Richemont.
Démantelé en 1379 sur ordre du roi de France, le château est reconstruit à partir de 1418 par les Anglais, puis restauré en 1459 sous Charles VII. Un capitaine y est encore mentionné jusqu’au début du XVIIe siècle, avant l’abandon progressif du site.
Depuis 1980, une association œuvre à faire revivre ces vestiges. Des fouilles archéologiques ont été menées et le site a été mis en valeur en 2001. Depuis 2015, un parcours KIT-m de 14 étapes présente également l’histoire et la visite du château, retracées sur des blocs de granit. Des sentiers sont aménagés pour la randonnée. L’accès est libre et gratuit toute l’année. Des visites accompagnées sont proposées en juillet et en août, pour une durée d’une heure. Le site dispose aussi d’un parking pour voitures et camping-cars ainsi que d’une aire de pique-nique.
