Au Moyen Âge, Rougemont constituait un fief de la seigneurie d’Aschères. Au fil de l’histoire, les deux domaines furent toutefois réunis à plusieurs reprises entre les mains de familles puissantes. Au milieu du XIIe siècle, Aubert de Pithiviers était seigneur de Rougemont et d’Aschères. À sa mort, cet ensemble passa à sa fille Isabelle, épouse de Guy de Nemours.
La haute poterne fortifiée du château remonte à cette période. Elle se distingue par une grande porte ogivale, c’est-à-dire une ouverture formée par un arc en pointe. L’accès à cette porte s’effectue par un pont dormant, un pont fixe établi au-dessus d’un espace défensif. Cet élément constitue le principal vestige identifié de la campagne médiévale.
Le reste du manoir a été considérablement remanié au XVIe siècle. Ces transformations furent réalisées par Charles Hotman, maître des Comptes à Paris et seigneur de Rougemont. L’édifice conserve ainsi les traces de plusieurs étapes de son histoire, depuis son organisation féodale médiévale jusqu’aux remaniements entrepris à la Renaissance.