La première pierre de l’église Saint-Rémy a été posée en 1522 par Thomas Bouchard, échevin et trésorier de la ville. La construction s’est toutefois prolongée pendant plus d’un siècle : interrompu durant plusieurs décennies par les conflits des guerres de Religion opposant catholicisme et protestantisme, le chantier n’a été achevé qu’en 1643.
L’église témoigne de la mise en place du courant de la Contre-Réforme à Dieppe. Face à un protestantisme attaché à la sobriété du culte, le pouvoir catholique cherche alors à attirer les fidèles et à renforcer leur encadrement religieux. Dans cette perspective, un retable baroque est réalisé au XVIIe siècle. Installé dans la chapelle de la Vierge, il contribue à établir une relation sensible au sacré. Au XVIIIe siècle, l’orgue Parisot accompagne et exalte les prières des paroissiens.
Classée au titre des Monuments historiques en 1910, l’église connaît une série de restaurations dès le XIXe siècle. Plusieurs campagnes sont également engagées à partir de 1990. En 2022, le déambulatoire noir est inauguré au terme de plus d’un an de travaux. À cette occasion, l’intérieur et l’extérieur sont reconstitués, notamment avec des gargouilles sculptées par Morgan Roulland.