Le château de Larnagol est attesté comme une place forte militaire au XIIe siècle. Il appartient alors aux Cardaillac, avant que le fief ne passe successivement aux Barasc, puis aux vicomtes de Calvignac. En 1638, les barons de Laporte l’achètent. Au début du XVIIIe siècle, ils le transforment en demeure de villégiature, richement ornée de décors de gypseries, de toiles peintes, de boiseries et de parquets marquetés. Les gypseries sont des décors travaillés en plâtre, destinés à enrichir les intérieurs.
Cette transformation s’accompagne de la création de jardins à l’italienne, dominés par des bassins. Le ferronnier Raymond Subes a vécu cinquante ans au château, qu’il a également embelli d’une grille exceptionnelle. Racheté en 2011, l’édifice fait depuis l’objet d’un important programme de restauration. Il demeure meublé et habité par ses propriétaires.
