Le château de Châteauneuf-sur-Loire aurait été créé au XIe siècle par les premiers Capétiens. Agrandi sous le règne de Philippe le Bel, il fut ensuite restauré et embelli par le duc Louis Ier d’Orléans à la fin du XIVe siècle. Après avoir été délaissé par ses seigneurs, le château médiéval connut une transformation profonde. De la moitié du XVIIe au début du XVIIIe siècle, il fut en partie rasé puis reconstruit.
Sous l’impulsion de la famille des Phélypeaux de la Vrillière, le domaine prit alors l’apparence d’un « Petit Versailles ». Il était notamment doté de magnifiques jardins à la française, ordonnés selon une composition géométrique. En 1784, le duc de Penthièvre racheta le château, qui était richement meublé et décoré d’œuvres d’art. Cette période marqua les derniers moments de son éclat.
À la Révolution, l’architecte orléanais Benoist Lebrun fit l’acquisition du domaine. Il entreprit la destruction du parc et du château afin d’en revendre les matériaux. De l’ensemble, il ne conserva que la rotonde et la galerie.