Située près de l’abbatiale, dans l’enceinte de l’ancienne abbaye, l’église Notre-Dame-de-Béthléem est le plus petit des deux édifices religieux qui se trouvent sur la place. Elle abrite une statue de Notre-Dame-de-Béthléem, une statuette en bois doré datant de la fin du XVe siècle.
L’histoire de l’église est associée à une apparition de l’Enfant Jésus au moment de sa naissance, qui serait à l’origine de sa construction. Le lieu devint ensuite un espace de pèlerinage et de conversions, avant d’être détruit par les Huns. Clovis aurait commandité sa reconstruction avant même sa conversion, entre 496 et 498. L’édifice connut par la suite d’autres destructions, notamment pendant la guerre de Cent Ans, de 1337 à 1453, puis lors des guerres de Religion, sous l’action des huguenots.
L’église compte également parmi les « sanctuaires à répit ». Cette appellation s’explique par la présence, non loin de l’édifice, d’un cimetière consacré aux enfants morts-nés.