L’ensemble fortifié du Villard a été édifié à partir du XIIe siècle, ou vers cette période, par les évêques de Mende. Il constituait un site défensif destiné à assurer la protection du château de Chanac. Le Villard Vieux et le Villard Jeune se font face, à la même hauteur, de part et d’autre d’une petite gorge creusée par le Lot.
Composé de plusieurs bâtiments, l’ensemble était entouré d’un mur d’enceinte percé de meurtrières, probablement aménagées au XIVe siècle. L’accès s’effectue par une porte encadrée de deux tours rondes et protégée par une herse. À l’intérieur, le parcours le long des remparts permet d’observer des éléments appartenant à des périodes différentes. Les vestiges du donjon remontent au Moyen Âge. Un bâtiment massif, attribué au XVIe siècle, est flanqué d’une tour d’escalier hors œuvre et éclairé par des fenêtres à croisées.
L’église présente également plusieurs phases de construction. Romane à l’origine, elle a été reprise à l’époque gothique. Son clocher-porche date du XIXe siècle, tandis que son intérieur conserve des peintures murales. L’ensemble fortifié offre enfin des points de vue sur les environs, notamment vers le versant sud de la Cham de Palherets et la vallée du Lot.
