Situées près de l’église, les ruines du château des Cardaillac correspondent à une demeure fortifiée établie dans l’ancienne basse-cour du fort. L’ensemble comprend un corps de logis appuyé sur un donjon roman à contreforts. Le donjon constitue la partie fortifiée de l’édifice, tandis que la basse-cour désigne l’espace autrefois aménagé autour du cœur défensif du fort.
La construction de cette demeure s’échelonne entre le début du XIIIᵉ siècle et le XIVᵉ siècle. Elle est attribuée aux Cardaillac, qui comptent parmi les coseigneurs du lieu. Au XVᵉ siècle, le château fait l’objet d’une modernisation. Il est ensuite progressivement abandonné par les seigneurs, dans le contexte de plusieurs destructions ordonnées par Louis XI, Charles VIII et Henri de Navarre.
Aujourd’hui, les vestiges conservent la trace de cette organisation ancienne, entre corps de logis et donjon. Les terrasses du château offrent une vue sur les toits du village.