À flanc de coteau, le château des Radrets a conservé son caractère défensif. Ses fortifications, datées des XVIᵉ et XVIIᵉ siècles, comprennent notamment trois bastions en pierre de roussard. Cette pierre est également utilisée pour les encadrements des ouvertures. Un simple cordon de roussard, formant une saillie, suit la ligne des toits.
L’histoire du château est marquée par plusieurs occupants successifs. La famille de la Bérruère y a vécu de 1444 à 1521, suivie par la famille d’Illiers, présente de 1522 à 1765. Anne Racine, petite-fille de Jean Racine, en a ensuite été l’occupante de 1765 à 1831. Elle a fait rénover la chapelle, construite au XVIIᵉ siècle, en 1768.
Le château est relié par une passerelle à la Basse-Cour. Celle-ci correspond à l’ancien manoir, devenu métairie au XVᵉ siècle. Elle conserve une grange dont la charpente présente une forme de carène de vaisseau renversée, datée du XVIᵉ siècle. La visite permet également de découvrir une ancienne boulangerie avec son mobilier traditionnel, ainsi que la salle des gardes du château et la chapelle. Des expositions temporaires y sont proposées.