Le fort Risban, édifié à la fin du XVIe siècle, occupe l’emplacement d’une ancienne tour anglaise appelée « Tour de Lancastre ». Sa construction répondait à un objectif défensif : contrôler et protéger l’accès au port. L’édifice a toutefois été fortement endommagé par une explosion survenue en 1800. À la suite de cet événement, d’importants travaux sont entrepris au cours de la première moitié du XIXe siècle. Le fort est alors rénové et agrandi, modifiant ainsi son état antérieur tout en maintenant sa fonction militaire.
Le Fort Risban est déclassé militairement en 1921. Il est ensuite acheté par la ville en 1938, marquant le passage de la propriété militaire à la propriété municipale. Il est aujourd’hui inscrit à l’inventaire des édifices protégés.