Le Château du Roi correspond à l’ancien palais de Via, devenu par la suite une prison départementale. Le palais aurait été construit au XIVe siècle par Pierre Via, beau-frère du pape Jean XXII, lui-même né à Cahors. Il a été réaménagé au XVIIe siècle avant d’être transformé en prison à partir de 1790.
L’établissement a conservé cette fonction pendant plus de deux cents ans. Présentée comme la plus vieille prison de France, cette prison départementale accueillait encore une soixantaine de détenus en 2006. Elle a finalement fermé ses portes en juillet 2012.
Le site est également associé à une cheminée datant du XIVe siècle. Aujourd’hui déposée, celle-ci aurait autrefois servi de phare afin d’indiquer aux bateliers l’emplacement du port de Cahors. Cet élément témoigne du lien entre le bâtiment et son environnement fluvial, sans que la cheminée soit encore en place.