Le château de Remeneuil est associé à un fief de haute justice relevant du duché de Châtellerault, dont l’origine remonterait à 1370. Il s’agit d’une petite forteresse établie sur un tertre rocheux souterrain. Sa construction est probablement datée des XIVe-XVe siècles. L’édifice a ensuite été remanié à plusieurs reprises au cours de son histoire, jusqu’au XIXe siècle.
Plusieurs récits et interprétations sont liés au site. Selon une légende locale, l’avant-garde sarrasine aurait été massacrée par les troupes de Charles Martel. Le reste de l’armée, retardé par la progression sur les collines de Remeneuil, serait arrivé trop tard pour lui porter secours. Après avoir constaté le massacre, il aurait choisi de faire demi-tour.
Le nom de Remeneuil est, par ailleurs, rapproché du toponyme « Romanoculus ». Cette appellation serait liée à la présence de troupes romaines dirigées par César lui-même. Celui-ci aurait établi provisoirement son camp sur le site lors de sa traversée de la vallée de la Veude. Ces éléments relèvent toutefois du récit légendaire ou de l’interprétation toponymique rapportée à propos du lieu.