Le village de Xaintrailles est implanté sur le tracé de l’ancienne voie romaine de la Ténarèze, un itinéraire reliant Bordeaux aux Pyrénées centrales. Cette position rappelle l’importance ancienne des axes de circulation qui traversaient le territoire et reliaient les régions du Sud-Ouest.
Xaintrailles est également présenté comme le berceau de Poton de Xaintrailles. Compagnon de Jeanne d’Arc, celui-ci participa à la reconquête de l’Aquitaine contre les Anglais et fut nommé maréchal de France. Son histoire demeure liée à celle du village, auquel il aurait laissé en héritage un château édifié au XIIe siècle. Cet édifice fut ensuite aménagé en manoir, évolution qui témoigne d’une transformation de son usage et de sa forme au fil du temps.
Le patrimoine du village comprend aussi une église datant du XVe siècle. Le château devenu manoir et l’église constituent ainsi les principaux éléments historiques signalés à Xaintrailles, en lien avec son passé médiéval et avec la figure de Poton de Xaintrailles.