Selon la tradition, l’église aurait été construite à l’emplacement d’un ancien temple druidique. Elle appartenait à un monastère mentionné pour la première fois au milieu du XIIe siècle, alors qu’il figurait parmi les possessions de l’abbaye d’Aurillac.
En 1365, le pape Urbain V érige le prieuré d’Ispagnac en prieuré conventuel et le place sous la dépendance de l’abbaye bénédictine Saint-Victor de Marseille. Cette organisation est profondément bouleversée en 1580, lorsque l’église est gravement endommagée par les Protestants. Plusieurs campagnes de restauration sont ensuite entreprises : au début du XVIIe siècle, puis au XVIIIe siècle, ainsi qu’en 1807, en 1853 et au début du XXe siècle.
Malgré ces interventions, l’édifice du XIIe siècle aurait conservé l’essentiel de ses dispositions. Les transformations auraient principalement concerné les clochers, attribués au XVe siècle ou au début du XVIe siècle. L’un d’eux, de plan octogonal, s’élève au-dessus de la croisée du transept ; l’autre, de plan carré, prend place sur la façade occidentale.