L’Hôtel d’Anvers a été érigé en 1697, à la suite de la destruction de Dieppe par la Grande Bombarderie. Cette attaque anglo-hollandaise avait provoqué la quasi-destruction de la ville et conduit à sa reconstruction. L’édifice présente une architecture classique représentative du style Ventabren, associé à l’architecte missionné par Louis XIV pour participer à la reconstruction de Dieppe.
Sa façade ordonnancée repose sur une composition symétrique. Le rez-de-chaussée et l’entresol, tous deux ouverts par des arcades, accueillaient des boutiques. Ils sont surmontés de deux étages d’habitation. La façade comporte également un fronton triangulaire et des pilastres, éléments inspirés de l’architecture antique. Reliant visuellement les différents niveaux, ces pilastres rappellent notamment les formes des temples grecs.
L’Hôtel d’Anvers aurait appartenu à un riche négociant. Celui-ci aurait vécu dans l’hôtel particulier, tandis que les bâtiments situés sur cour auraient servi à entreposer ses marchandises. Cette organisation témoigne de la coexistence, au sein de l’édifice, d’espaces d’habitation, d’activités commerciales et de lieux de stockage.
Au début du XXe siècle, des colonnes soutenant les balcons ont été ajoutées lors de la réhabilitation de l’édifice. Cet ajout fait écho à une toile peinte par William Turner en 1826, pendant son séjour à Dieppe, où des colonnes apparaissent de part et d’autre du porche de l’Hôtel d’Anvers. Le passage couvert donnant sur la cour conserve par ailleurs une frise représentant une vue d’Anvers, réalisée au XVIIe siècle. En 1991, l’Hôtel d’Anvers et sa frise ont été inscrits à l’inventaire supplémentaire des monuments historiques.