Le culte de la Vierge noire est attesté dès le VIe siècle, à l’époque où une colonie syrienne s’était établie dans le bourg alors appelé Avenum. Une première église, construite entre 1170 et 1180, abritait la statue miraculeuse de Saint-Pol. Le sanctuaire fut également associé au passage de Jeanne d’Arc, qui se serait recueillie devant Notre-Dame-des-Miracles.
Au cours des guerres de Religion, en 1562, la statue fut brûlée et l’église ruinée. Une nouvelle statue fut inaugurée à la fin du XVIe siècle. Il s’agit de celle qui est encore contemplée aujourd’hui. Après la Révolution, l’édifice fit l’objet d’une restauration. L’église fut ensuite incendiée en 1940, mais la chapelle fut épargnée par les flammes. Un nouvel édifice fut finalement construit, puis inauguré en 1966. Cette histoire associe ainsi la dévotion mariale, les destructions liées aux conflits religieux et les transformations successives du lieu de culte.
