La Tour aux Crabes appartenait à la muraille défensive qui, au XVe siècle, protégeait l’accès au chenal conduisant au port de Dieppe. Établie au bord de l’eau, elle mesurait 11 mètres de hauteur pour 9 mètres de largeur. Sa structure comprenait notamment un mur épais construit en silex et en briques.
À l’origine, l’ouvrage portait le nom de Tour du Pollet, en référence au quartier où il se trouve. Il est ensuite devenu la Tour aux Crabes, une appellation liée à sa situation particulière : à marée basse, des crustacés s’accrochent à sa base, tandis que la tour a littéralement les pieds dans l’eau.
La tour a été démantelée en 1841, mais le mur subsiste encore aujourd’hui. En 2000, une plaque y a été apposée pour commémorer le retour d’exil de Louise Michel à Dieppe, en 1880. Figure de la Commune de Paris, celle-ci avait passé sept années en exil en Nouvelle-Calédonie.