Les Tourelles constituent le dernier vestige des sept portes qui perçaient la muraille entourant Dieppe. Au cours de leur histoire, elles ont porté plusieurs noms : d’abord Porte du Port d’Ouest, puis Tour Jumelle, avant de devenir les Tourelles. Lors de la construction de l’enceinte, au XIVe siècle, cette porte faisait partie des cinq portes tournées vers la mer.
La muraille avait une fonction défensive. Elle devait protéger Dieppe contre les attaques anglaises et flamandes pendant la guerre de Cent Ans, qui s’est déroulée de 1337 à 1453. Les portes répondaient également à des besoins pratiques : elles permettaient le ravitaillement de la ville et contrôlaient le passage des personnes, aussi bien par voie terrestre que maritime.
À la fin du XVIIIe siècle, l’enceinte, devenue inutilisée, se dégrade progressivement. Elle est finalement détruite en 1837 afin de permettre la construction de l’actuel boulevard de Verdun. La transformation de la tour en prison jusqu’au XIXe siècle a toutefois permis de préserver les Tourelles de cette disparition. Elles sont classées au titre des Monuments historiques depuis 1886.