Pendant la Première Guerre mondiale, le village de Fournes se trouvait à l’arrière du front, stabilisé sur le secteur d’Aubers-Fromelles depuis la fin de 1914. Il constituait alors un village de garnison. Chaque soir, le train Michon y ramenait les morts et les blessés. Dans ce contexte, les troupes allemandes installèrent rapidement un cimetière à proximité du village. Les premières sépultures étaient généralement signalées par des croix fabriquées avec des planches de bois.
Contrairement à d’autres cimetières allemands, notamment ceux de Sainghin ou de Marquillies, le cimetière de Fournes-en-Weppes est demeuré à son emplacement d’origine. Au cours des années 1920 et 1930, les cimetières allemands reçurent progressivement des croix en bois ou en fer et commencèrent à être plantés d’arbres. Les principaux aménagements du cimetière intervinrent après 1966. Ils comprirent notamment la plantation de nouveaux arbres, ainsi que l’installation de croix en fer ou en pierre selon les sites. Des plaques particulières furent également consacrées aux soldats juifs allemands, alors réhabilités par l’Allemagne.