L’existence d’un premier château à Frégimont est attestée dès 1271 par le *saisimentum*, c’est-à-dire la prise de possession par le roi de France des seigneuries relevant du comte de Toulouse. Cette intervention intervient après la mort d’Alphonse de Poitiers et de Jeanne, comtesse de Toulouse, décédés sans postérité.
En 1418, Amanieu de Montpezat s’empare de la seigneurie, qui appartient alors aux Montpezat. À la fin du XVIIe siècle, celle-ci devient la propriété de la famille de Lusignan. Elle est ensuite acquise, en 1769, par Jean-Pierre Villate de Lagrave, avocat et notable bordelais. Le texte mentionne également cet acquéreur sous le nom de Jean-Pierre Villatte et précise qu’il est marié à Louise de Secondat, petite-fille de Montesquieu.
À cette époque, le château est décrit comme étant en ruine. Le domaine conserve toutefois une tour servant de prison, ainsi qu’une grange, des écuries, un chai, un four, un puits et une basse-cour. L’ensemble est alors entouré de murs et de fossés. Le château de Frégimont est inscrit au titre des Monuments historiques le 23 septembre 2008.
