Le château de Selles compte parmi les plus anciens monuments militaires de Cambrai. Édifié au XIIIe siècle, il se présente alors comme une forteresse polygonale en grès, haute de 15 mètres et flanquée de six tours, dont une tour géminée. Sa fonction est double : surveiller la porte de Selles ainsi que l’Escaut, tout en affirmant l’autorité du comte-évêque sur les Cambrésiens.
L’édifice est en partie remblayé au XVIe siècle. À l’intérieur des tours, deux niveaux de salles couvertes de voûtes d’ogives subsistent encore. Ces espaces communiquent par un réseau original de gaines, c’est-à-dire des couloirs aménagés dans l’épaisseur des murailles. Utilisées comme prisons dès le XIVe siècle, elles conservent de nombreux graffiti gravés dans les murs. Ces inscriptions témoignent des engagements politiques et religieux des détenus et constituent des traces particulièrement émouvantes de l’histoire du lieu.
Un ancien hôpital militaire du XVIIIe siècle surmonte aujourd’hui le château. Il abrite actuellement le tribunal.
