Le cimetière militaire allemand de Rancourt a été créé par les autorités françaises en 1921. Cette création s’inscrivait dans le cadre établi par le Traité de Versailles, signé en 1919, qui plaçait les cimetières allemands sous la tutelle de l’administration française. Leur gestion relevait donc alors de la France, notamment pour l’entretien des lieux.
La situation évolua en 1926, année durant laquelle la responsabilité de l’entretien des cimetières fut transférée à l’État allemand. Cette même année, le Volksbund Deutsche Kriegsgräberfürsorge, ou Association populaire allemande pour l’entretien des tombes de guerre, adopta le symbole destiné à signaler la présence des nécropoles allemandes. Ce signe se compose de quatre petites croix noires disposées autour d’une croix plus grande qui les domine. L’association, toutefois, avait été créée dès 1919. Le cimetière témoigne ainsi de la mise en place progressive d’un cadre administratif et mémoriel concernant les sépultures allemandes.
