Inscrit à l’inventaire des Monuments historiques depuis 1988, le château représente, ne serait-ce que par sa situation topographique, l’élément majeur du patrimoine historique, architectural et urbanistique de la vieille ville.
Nous ne connaissons du château féodal originel que le donjon et un pan de mur (partie de la façade Est) qui ont été conservés lors de la reconstruction du château au XVIème siècle. On peut supposer que cet ancien édifice était fort austère et de modeste dimension.
C’est vers 1530, que le château féodal fut restructuré et rebâti sous la seigneurie de Charles de Joyeuse. Citons Robert-Saint-Jean (historien, universitaire Montpellier (1933-1992) :
« Rebâti entièrement au début du XVIème siècle sur l’emplacement même du vieux château féodal, il fut sans doute commencé par le Vicomte Charles de Joyeuse et achevé par son fils Jean de Joyeuse, vers 1555.
De style Renaissance, il était fort vaste, comprenant un grand corps de logis central avec tourelle d’escaliers, et aux extrémités, deux ailes en avancement formant pavillons. Deux cours superposées, deux écuries et des communs ainsi qu’un passage voûté permettant d’accéder directement à l’église, complétaient l’édifice qui fut, jusqu’au milieu du XVIème siècle, la demeure habituelle des seigneurs de Joyeuse. En effet, à partir de cette époque, pourvus de grandes charges militaires en Languedoc ou à la cour, les Joyeuse ne font plus que des séjours plus ou moins longs dans leur pays d’origine ; ils viennent parfois y résider pour assister à la réunion des Etats du Vivarais, y marier leurs enfants, y tester, réclamant souvent à y être inhumés auprès de leurs ancêtres. Jean de Joyeuse, Guillaume de Joyeuse, évêque d’Alet, le Maréchal de Joyeuse et surtout le Cardinal y firent de nombreux séjours ».
Pendant la période révolutionnaire, le château, alors propriété de la famille de Vogüé par une acquisition sous seing-privé de Madame de Marsan signée en 1788, fut déclaré bien national, les Vogüé ainsi que Madame de Marsan, figuraient sur la liste des émigrés.
Le château, mal entretenu depuis des dizaines d’années était, au début du XIX ͤ siècle en très mauvais état, et menaçait ruine, surtout dans sa partie occidentale (vers l’église).
En 1804 le conseil municipal décida de faire démolir la moitié occidentale du château, puis de faire consolider la partie subsistante du bâtiment, ce qui demeure aujourd’hui. La commune fit ensuite aplanir les décombres et créa sur ceux-ci, une place à laquelle elle donna en 1813, le nom de place du Roi de Rome (un peu de zèle envers l’Empereur Napoléon !). Mais en 1828, les temps politiques changeant, sous le règne du roi Charles X, et sans nostalgie pour l’Empire, le conseil municipal décidait de la construction d’une halle aux grains sur cette place, halle qui fut agrandie en 1848, pour présenter l’aspect actuel. Le sol de la place du Roi de Rome qui avait été superbement pavé en galets de rivière, n’a pas été détruit lors de l’édification de la halle et subsiste encore aujourd’hui. En 1847, afin d’y installer l’école primaire de garçons, il est procédé à divers travaux dans le château et notamment la construction de latrines supplémentaires et d’une citerne. Or le creusement de la citerne obligea l’utilisation de mines pour creuser le rocher (l’ensemble castral étant bâti sur le roc) et dont la conséquence inévitable fut d’ébranler les murs de soutènement de l’édifice. Afin de ne pas aggraver les dommages, il fut alors décidé, par le conseil municipal d’adopter le projet de consolidation proposé par l’agent voyer cantonal, qui consista à construire un contre mur avec la création de quatre arceaux, pour alléger la structure, mais dont l’intégration architecturale avec le bâtiment existant ne contribua pas à donner un caractère des plus harmonieux à l’ensemble. En 1848, la mairie s’installe au château, elle y restera jusqu’en 2022.
Le château, bien communal, abrite désormais un pôle culturel où l’Association « Le Château » propose de nombreuses expositions temporaires et permanentes sur le dessin d’humour et la caricature, mais également des cours d’occitan avec l’association AGARAM, dans le souci de promouvoir la culture occitane. Une bibliothèque historique regroupant de nombreux ouvrages du Vivarais est visible sur RDV avec le concours de l’association du Cercle des Auteurs Ardéchois. Le bâtiment accueille aussi une radio voyage, Allo la Planète Web Radio. Ce média associatif et collaboratif pour et par les voyageurs propose un studio avec podcasts, émissions, direct, musiques du monde…
Depuis le début du XIXème siècle, de nombreuses transformations intérieures successives ont dénaturé l’état initial des différentes salles. Dans la bibliothèque, un portrait peint à l’huile du cardinal de Joyeuse et plusieurs fauconneaux en bronze du XVIème e siècle, offerts par le Maréchal de Joyeuse à la ville pour la défense de ses fortifications pendant les guerres de religion sont exposés.
