Les parties les plus anciennes du château d’Esnes remontent au XIVe siècle, mais le site était déjà habité dès le Xe siècle par Alard d’Esnes, l’un des douze pairs du Cambraisis. Jusqu’en 1678, la commune se trouvait sur le tracé de la frontière entre la France et l’Empire germanique, ce qui explique la présence de cette forteresse. Au XIIIe siècle, le château, dessiné en quadrilatère, était bordé au sud par l’Esnelle et protégé à l’ouest par un marais. La route de Cambrai à Guise le traversait ; un péage y était perçu avant le pont afin de contribuer à l’entretien des routes et des ouvrages ainsi qu’à la sécurité de la région.
De la forteresse médiévale subsistent une tour crénelée, la base de trois tours et une partie du chemin de ronde. La grosse tour conserve des archères destinées au tir des arbalètes et des trous de boulins, qui servaient à fixer les madriers d’un plancher provisoire. Surélevée au XVe siècle, elle abrite deux salles voûtées de pierre, conçues pour supporter le poids des couleuvrines. À proximité, une tourelle contient l’escalier et un ancien « assomoir », tandis qu’une tour étroite, dont la base daterait du XIIe siècle, conserve des archères en étrier, des graffiti et un cachot souterrain.
Le porche est encadré de deux tours demi-cylindriques, dont les bases remontent aux XIVe et au début du XVe siècle. Leurs murs, épais de deux mètres, furent surélevés au XVIIe siècle. Le pont-levis date du XIVe siècle ; le porche fut décoré et surmonté d’un fronton au siècle suivant. La tour Baudrain conserve notamment des ouvertures pour canons, des graffiti et un cachot profond de sept mètres. Dans la tour Saussaye, une fleur de lys gravée sur la voûte aurait été exécutée lors d’une incursion de troupes françaises, sous Louis XI, Henri II ou au XVIIe siècle.
Le château connut deux sièges, en 1478 et en 1554. Cédé en 1603 à Jean de Beauffremez, il fut ensuite aménagé par ses descendants. Au XVIIe siècle, Adrien puis Jean-Baptiste de Beauffremez transformèrent l’habitation principale et firent construire des communs. De la demeure seigneuriale subsistent notamment le logement principal, avec sa façade de briques et de pierres ornée de blasons, ainsi que des dépendances. Occupé par les Autrichiens en 1793, le château fut transformé en exploitation agricole au XIXe siècle. Il est classé au titre des monuments historiques depuis 1971.
