Le Cateau Military Cemetery a été aménagé en février 1916, alors que Le Cateau se trouvait sous occupation allemande. La ville constituait alors un important centre ferroviaire, logistique et hospitalier situé à proximité du front. Le cimetière fut établi sur des parcelles distinctes pour les soldats allemands et ceux du Commonwealth. Les parcelles du Commonwealth ont été conçues par Charles Holden.
La partie allemande reçut d’abord les dépouilles de soldats tués lors de la prise de la cité ainsi que celles de militaires morts dans les hôpitaux locaux des suites de leurs blessures. Après l’Armistice, elle fut agrandie pour accueillir des corps provenant de 53 lieux d’inhumation du secteur. Elle contient aujourd’hui les tombes de 5 381 soldats allemands et de 34 prisonniers de guerre russes. Un mémorial en forme de pyramide rend hommage aux « braves soldats français et allemands morts pour leur patrie 1914-1918 ». Onze soldats français, tués entre le 6 et le 26 octobre 1918, reposent également dans une tombe commune située dans l’ossuaire allemand.
Les parcelles du Commonwealth regroupent 698 sépultures et commémorations de la Première Guerre mondiale. La majorité des tombes des parcelles I, III, IV et V correspondent à des soldats inhumés par les Allemands, principalement après la bataille de 1914. La parcelle II comprend des sépultures datant d’octobre et novembre 1918, dont huit ont été transférées après l’Armistice ; la parcelle III contient aussi deux tombes allemandes. Cent quatre-vingt-sept sépultures ne sont pas identifiées, tandis que vingt victimes font l’objet de mémoriaux particuliers, car elles sont connues ou supposées inhumées parmi les tombes anonymes. Certains soldats du Commonwealth furent enterrés après la reprise de la cité par les Écossais, en octobre 1918. l’ensemble est aujourd’hui placé sous la responsabilité de la Commonwealth War Graves Commission.