L’église Sainte-Fauste a été reconstruite en 1878. Elle se compose d’une nef unique orientée au sud-ouest, de deux chapelles latérales, d’un chœur de deux travées à chevet plat et d’un porche situé sous le clocher, placé dans l’axe principal de la façade.
À l’intérieur de l’église, on peut admirer un mobilier exceptionnel, à la fois par son importance et sa qualité. On y trouve notamment un fenestrage flamboyant en pierre et une porte flamboyante datant du XVe siècle, provenant tous deux de la chapelle des seigneurs de la Ferté. On peut également y voir la plaque funéraire du chanoine Mathieu Perrot (1571-1644), prieur de Saint-Cyr et abbé commendataire de l’abbaye de Varennes. Un calvaire en pierre et plâtre du XVIe siècle, qui ornait autrefois la chapelle domestique du château de la Ferté, ainsi qu’une chaire en bois sculpté du XVIIe siècle, décorée de fleurs de lys, de perles et ornée de la colombe du Saint-Esprit, sont également présents.
Dans la chapelle sud dédiée à Marie, se trouve une haute statue de la Vierge allaitant l’enfant Jésus, datant de la fin du XIVe siècle. Cette œuvre est remarquable par la grâce de l’attitude et la douceur du visage qu’elle représente.