Le château de Chamousseau est mentionné comme habité dès 1314. À cette époque, le fief relève de la châtellenie de Calais, c’est-à-dire d’une circonscription placée sous l’autorité d’une châtellenie. Au 15e siècle, il devient la propriété de la famille Frotier, à laquelle la reconstruction du château est attribuée. Cette attribution demeure donc présentée comme une hypothèse.
À l’origine, le site se compose d’un corps de logis rectangulaire flanqué de trois tours rondes. L’ensemble est alors entouré de douves sèches, aménagement défensif constitué d’un fossé dépourvu d’eau. Cette organisation associe ainsi le logis principal à plusieurs éléments de protection périphérique.
Le château a toutefois été en grande partie transformé ou disparu au fil du temps. De nos jours, seuls subsistent une partie du logis et la tour d’entrée du château. Ces vestiges permettent de conserver la trace de la composition ancienne du site, notamment de son corps de logis et de son dispositif d’accès.