Le château des Matignon, édifié aux XVIe et XVIIe siècles, se compose de trois ailes disposées autour d’une cour d’honneur. Celle-ci s’ouvre à l’ouest sur la Cour aux Canons. Situé à Torigny-sur-Vire, ancien fief de deux descendants de Guillaume le Conquérant, l’édifice appartint pendant plus de trois siècles à la famille des Matignon.
Le château fut fortement endommagé pendant la Révolution. Après les dégradations postrévolutionnaires, seule l’aile sud subsista, accompagnée à l’ouest d’un pavillon armorié daté de 1962. La municipalité, qui avait acheté l’ensemble en 1817, fit construire vers 1840 le pavillon est afin de rétablir l’équilibre de la composition après les démolitions.
Le 12 juin 1944, le centre de Torigny fut bombardé. Le château n’en conserva alors que ses quatre murs. Les municipalités successives s’attachèrent ensuite à lui redonner une certaine ampleur. Sans retrouver l’aspect qu’il présentait autrefois, il conserve aujourd’hui une présence imposante et est présenté comme un Monument Historique. Il accueille les services municipaux, ainsi qu’une salle de conférence et deux salles de réception.