La chapelle Notre-Dame de l’Ile se trouve dans un méandre du Lot décrit comme particulièrement dangereux. Son emplacement est ainsi directement associé à la navigation sur la rivière et aux risques auxquels les bateliers pouvaient être exposés. Elle est dédiée à Notre-Dame, dans une vocation de protection des bateliers. Cette dédicace relie donc l’édifice à la vie du fleuve et à la demande de protection placée sous l’invocation de la Vierge.
La chapelle actuelle a été érigée en 1504 sur les fondations d’un édifice primitif. Sa construction s’inscrit ainsi dans la continuité d’un lieu déjà occupé par un bâtiment antérieur, dont le texte source ne précise pas la nature. L’édification de 1504 aurait été réalisée par un membre de la famille Luzech. Toutefois, l’identité exacte de cette personne n’a pas été établie avec certitude.