Le site féodal de Xaintrailles est attesté depuis le XIIe siècle. Au XVe siècle, Jean Poton de Xaintrailles, maréchal de France, gouverneur militaire d’Aquitaine et ancien compagnon d’armes de Jeanne d’Arc, fait édifier le château actuel sur les bases de celui de ses ancêtres. Le donjon central est alors conservé, témoignant de la continuité entre l’ancien site et la construction nouvelle.
Habité depuis cette époque, le château a connu de nombreuses transformations au fil des siècles, afin de répondre aux besoins de ses occupants. Les fossés qui l’entouraient ont notamment été comblés. Une cour d’entrée a ensuite été aménagée vers 1750, modifiant l’organisation des abords du château.
Depuis 1868, l’édifice appartient à la même famille, qui veille à préserver les traditions liées au lieu. Le château est classé au titre des Monuments historiques depuis 1840. La visite du site est libre et s’appuie sur des commentaires présentés sur des panneaux.