Au Moyen Âge, Ambialet devient le siège de la vicomté des Trencavel. Une vicomté est un territoire placé sous l’autorité d’un vicomte. Les Trencavel sont alors présentés comme des rivaux des comtes de Toulouse, dans un contexte de rivalités entre pouvoirs seigneuriaux du Midi. Au cours de la croisade contre les Albigeois, Ambialet est ensuite occupé par Simon de Montfort.
Les comtes d’Albi y font construire une forteresse, dont les vestiges sont aujourd’hui désignés sous le nom de ruines du château Saint-Raphaël. Ces ruines constituent les traces subsistantes de cet édifice fortifié lié à l’histoire politique et militaire médiévale d’Ambialet. Elles rappellent les différents pouvoirs qui se sont succédé sur le site : la vicomté des Trencavel, les comtes de Toulouse, Simon de Montfort et les comtes d’Albi.
