Construite dans la première moitié du XVIIIe siècle, la chapelle Saint-Pierre fut élevée en 1723 par les marins de la Ferté, avec l’accord du pape. La construction répondait à leur volonté de créer leur propre paroisse face à la Ville Haute. Elle conserve notamment un clocher conçu comme la réplique miniature de l’ancien clocher de l’église Saint-Martin, disparu en 1786 lors d’une tempête. Cette particularité établit un lien direct entre la chapelle et un élément aujourd’hui disparu du paysage religieux local.
L’édifice se distingue également par l’emploi de matériaux traditionnels, disposés selon une alternance de silex, de briques et de calcaire taillé. Il y a quelques années, la chapelle a été transformée en lieu d’exposition. Elle accueille aussi des concerts plusieurs fois dans l’année. Sa visite est actuellement possible à l’occasion de ces expositions ou de ces manifestations musicales, qui permettent de découvrir un édifice à la fois religieux par son origine et culturel par son usage actuel.