Derrière ses hautes grilles se distingue une élégante bâtisse du XIXe siècle. Elle fut construite en 1854 par Charles-Emmanuel Sigismond, présenté comme le dernier descendant des Montmorency. Le bâtiment s’élève sur le pavillon d’entrée de la cour d’honneur de l’ancienne demeure Renaissance.
L’histoire du site est marquée par la succession de trois châteaux. Le premier, de caractère féodal, aurait été bâti par Etienne de Champagne avant d’être détruit pendant la guerre de Cent Ans. En 1379, Nicolas Bracque fit édifier un deuxième château. Le troisième fut celui des Coligny, dont subsistaient deux ailes Renaissance. Cet ensemble fut détruit après la Révolution française.
Le château actuel correspond donc à une construction du XIXe siècle, installée sur un lieu qui a connu plusieurs demeures successives. Il s’agit aujourd’hui d’une propriété privée qui ne se visite pas.