L’Ermitage Saint Privat est associé au martyre de Privat, évêque du territoire gabale selon le récit de Grégoire de Tours. Au IIIe siècle, les Alamans envahissent cette région. Leur chef, Chrocus, aurait demandé à Privat de lui livrer son peuple, mais celui-ci refuse. Il est alors martyrisé dans une grotte située sur le versant exposé au nord du mont Mimat. La légende raconte qu’il aurait été enfermé dans un tonneau hérissé de clous pointés vers l’intérieur, puis précipité du haut du mont.
Dès le début du Moyen Âge, la tombe de Privat devient un important lieu de pèlerinage. Des ermites ou des collèges de prêtres s’installent ensuite dans ces lieux, contribuant à leur vocation religieuse.
La chapelle, toujours existante, est construite en 1850. En 1873, le dernier ermite, le frère Joseph Laget, transforme et aménage l’ensemble. Il fait édifier une résidence et, en 1881, refait les stations du chemin de croix. En 1960, le père Durand ouvre un centre d’accueil après avoir construit une résidence de cinquante chambres.