Le Palais a accueilli, au fil du temps, différentes formes d’exercice du pouvoir. Peu après l’an Mil, un nouveau palais est construit sur une motte de terre, contre le rempart antique. L’ensemble est complété vers 1100 par une première tour.
Le bâtiment devient la résidence des comtes de Poitou-ducs d’Aquitaine. Un peu avant 1200, les Plantagenêt y font édifier une vaste salle d’apparat, connue sous le nom de « Salle des Pas Perdus ». Avec ses grandes dimensions, ses cheminées gigantesques et son décor de style angevin, elle constitue la salle officielle du Palais. Elle demeure aujourd’hui l’un des exemples les plus remarquables d’architecture civile médiévale en France.
Au XIIIe siècle, le Palais perd progressivement son caractère résidentiel au profit de fonctions administratives. De nouveaux aménagements y sont réalisés vers 1380, sous l’impulsion de Jean de Berry. Après la Révolution française, l’ancien palais comtal est définitivement aménagé en palais de justice. Il conserve cette fonction jusqu’en 2019 et est la propriété de la ville.