Le château du Fraisse conserve les traces de plusieurs états successifs. Au XIIIe siècle, le site était occupé par un « logis noble », dont il ne subsiste aujourd’hui presque rien. Cet édifice fut brûlé en 1356 par le Prince Noir. Après la guerre de Cent Ans, il fut reconstruit par Sieur Jacques des MONSTIERS. Cette reconstruction correspond au « vieux château » du XVe siècle, qui forme la partie droite de l’ensemble bâti actuel.
La partie principale date du XVIe siècle. De type Renaissance, elle comprend notamment un escalier Henri II ainsi qu’une grande salle. Celle-ci possède une cheminée S. Serlio, dont le bandeau représente le Fraisse tel qu’il apparaissait au XVIe siècle. Les différentes parties de l’édifice témoignent ainsi de son évolution entre le XIIIe et le XVIe siècle, depuis le premier logis noble jusqu’à la construction Renaissance. Les visites sont assurées par un membre de la famille.
