Selon la légende, au début du XIe siècle, un agriculteur aurait découvert une statue miraculeuse de la Vierge alors qu’il labourait son champ. Une première église aurait été édifiée à cette époque. Le premier document connu mentionnant l’édifice date toutefois de 1365. La dévotion mariale attire alors de nombreux pèlerins.
Au XIVe siècle, des indulgences sont accordées afin de contribuer à la construction d’un pont destiné à faciliter l’accès des pèlerins. L’église actuelle remonte au début du XVe siècle.
Son histoire est ensuite marquée par les troubles religieux. Pendant les guerres de Religion, Quézac est pillé et dévasté. En 1577, les catholiques reprennent la ville, avant que le capitaine Merle ne fasse brûler l’église à trois reprises, en 1579. L’édifice subit également des mutilations au cours de la Révolution.
De la construction du XVe siècle, seul le porche sud subsiste. Celui-ci est couvert d’une voûte à nervures toriques, c’est-à-dire formées de nervures au profil arrondi. Il est encadré par deux piles prismatiques, des supports de section polygonale, dont les caractéristiques permettent de dater le porche de la fin du XIVe siècle.
