Jusqu’au XVIIIe siècle, Saint-Aubin constituait une seigneurie vassale de la famille de Poyaller. De cet ancien passé seigneurial subsistent encore, dans le hameau, un château et une chapelle. La tour de Poyaller représente toutefois le seul vestige du château construit par les Anglais au XIIIe siècle.
Édifiée au-dessus de la vieille motte castrale, aujourd’hui arasée, la tour dominait une enceinte. Elle se dresse sur un éperon accessible par un seul côté, où le village s’était développé, et domine les vallées environnantes. Elle assurait ainsi la protection de cet emplacement.
Les restaurations récentes ont mis en valeur la qualité de l’appareillage de pierre. Les hautes fenêtres permettent de restituer l’organisation intérieure de la tour, qui comptait quatre niveaux : des chambres, une salle des gardes et une pièce à vivre. Deux cheminées sont encore conservées à l’état de vestiges. La tour de Poyaller figure parmi les rares tours-maîtresses conservées dans les Landes. L’édifice est une propriété privée.