Édifiée en 1543 sur ordre de l’empereur Charles Quint, la citadelle répond à l’évolution de l’artillerie et à la nécessité de disposer d’un ouvrage militaire adapté à sa nouvelle puissance de feu. Elle est implantée sur le point culminant de la cité, le Mont-des-Bœufs. Sa construction entraîne la destruction complète de l’abbaye Saint-Géry, fondée au VIe siècle et alors considérée comme un haut lieu de pèlerinage, ainsi que du quartier qui l’entoure.
La citadelle adopte un plan vaste et quadrangulaire. Chacun de ses angles est renforcé par un bastion, ouvrage défensif destiné à protéger les remparts et à faciliter la surveillance des abords. L’ensemble comprend les aménagements nécessaires à la vie de la garnison. Lors de la prise de la ville par Louis XIV en 1677, elle constitue le dernier foyer de résistance.
Démantelée à la fin du XIXe siècle, la citadelle conserve plusieurs éléments témoignant de son histoire militaire et de ses transformations successives : une galerie de contre-mine, la porte royale, un arsenal du XVIe siècle, des logements du XVIIIe siècle et une caserne du XIXe siècle.