L’occupation du site du château de Pruniers remonte à l’époque gallo-romaine. Au Moyen Âge, le fief relève de Montmorillon et dispose des droits de basse, moyenne et haute justice, c’est-à-dire de prérogatives judiciaires exercées à différents niveaux sur le territoire dépendant du seigneur. L’« hébergement de Pruniers » est mentionné dès 1290.
L’édifice actuel résulte de trois campagnes de construction distinctes, conduites du XIIᵉ au XVᵉ siècle. À partir du XVᵉ siècle, une enceinte vient entourer le château. L’ensemble est complété par des communs ainsi que par une chapelle, reconstruite au XIXᵉ siècle.
La silhouette actuelle du château se caractérise par un volume rectangulaire, dont les angles sont flanqués de tourelles pleines. Cette organisation associe ainsi le corps principal, l’enceinte et les différents bâtiments qui composent le domaine. Le château de Pruniers a été inscrit au titre des Monuments historiques en 1973.