Le château de Grizac conserve l’essentiel d’une construction médiévale édifiée au milieu du XIVe siècle, probablement agrandie au XVe siècle. En 1309, Guillaume Grimoard y naquit. Devenu pape en 1362 sous le nom d’Urbain V, il passa une partie de son enfance dans cette demeure. Une exposition lui est aujourd’hui consacrée.
Abandonné à la fin du XVe siècle, l’édifice connaît d’importantes transformations du XVIIe au XIXe siècle. Au cours de ce dernier siècle, le domaine est converti en exploitation agricole et accueille également une école communale. La masse principale se développe selon un plan rectangulaire et rassemble plusieurs bâtiments, parmi lesquels une tour de guet, un bâtiment agricole et un corps central. Autour de cet ensemble subsistent des vestiges de dispositifs défensifs, témoins de la vocation fortifiée du site.
Le propriétaire actuel du château est le marquis de Laubespin. Il a restauré les anciennes ruines et contribué à redonner vie à la demeure visible aujourd’hui. Le château se visite du 14 juillet au 31 août, tandis que le hameau est accessible toute l’année.