Le manoir de la Fresnaye est un édifice des XVe et XVIe siècles. Cette ancienne forteresse, embellie sous Henri IV, a été en partie ruinée. Son ensemble conserve notamment un donjon et deux tours. Il comprend également une herse horizontale, dispositif qui coulisse comme au Moyen Âge et qui est présentée comme unique en France.
Le manoir abrite aussi une cheminée classée Monument historique ainsi que deux escaliers de prestige. L’histoire du lieu est évoquée dans une salle d’exposition permanente, qui permet de découvrir les différents aspects de la Fresnaye.
Du 1er juillet au 31 août 2024, une deuxième exposition, intitulée « Mémoire des pierres », invitait les visiteurs à suivre une déambulation baroque conçue par Elise Steiner. Celle-ci proposait une rencontre avec des personnages réels et rêvés ayant marqué de leur empreinte l’histoire de la Fresnaye. Une visite guidée permettait d’explorer l’exposition, les intérieurs et les extérieurs du manoir.