Entre la fin du XIIe et le début du XIIIe siècle, Chanac constitue un point important dans la lutte pour le contrôle des fortifications de la vallée. Les rois d’Aragon, qui en possédaient une grande partie, en sont progressivement dépossédés par les évêques de Mende. Chanac passe ainsi entre les mains de l’évêque au début du XIIIe siècle.
La construction du donjon se situe dans cette période, entre la fin du XIIe et le début du XIIIe siècle. Édifié en moellons équarris de calcaire, il présente des assises relativement régulières. Le bâtiment s’élève sur quatre niveaux : un rez-de-chaussée couvert d’une voûte en berceau, un premier étage autrefois voûté, un deuxième étage aujourd’hui planchéié et un dernier niveau également couvert d’une voûte en berceau.
La tour constitue le seul vestige conservé d’un ensemble plus vaste. À la fin du XVIe siècle, le site sert de résidence d’été aux évêques de Mende. D’importants agrandissements, réalisés à la fin du XVIIe ou au début du XVIIIe siècle, ne sont toutefois connus que par les documents d’archives.
