Il s’agit de la deuxième porte de la ville (avec la porte de Jalès) qui a encore conservé son aspect originel.
Enserrée dans le bâti, elle garde tout son caractère défensif.
La rampe d’accès à la rue st Anne a été construite en escalier au XIX° siècle ; le pavage en galets de rivière, qui date de cette époque est en excellent état. Bien qu’aucun document ne l’atteste, on peut supposer que le nom de Saint Anne, dénommant la porte et la rue, sont un hommage à Anne de Joyeuse, après sa mort en 1587 à la bataille de Coutras.
Le long de la rue Sainte Anne, la grande bâtisse très ancienne, adossée aux remparts et mitoyenne de la porte Sainte Anne, qui autrefois cernaient le castrum, est appelée maison Ruelle du nom d’une famille qui y vécut longtemps.
Ce bâtiment comporte de vastes caves et écuries qui servirent de casernement à différentes époques.
À l’origine c’était un corps de garde du château. Pendant la période tourmentée des guerres de religion, il y aura en permanence une garnison de soldats à Joyeuse.
En 1814, lorsque la France de Napoléon fut vaincue par les alliés, un détachement d’un régiment autrichien occupa ces lieux quelques mois, ce fut la dernière utilisation de ces lieux à une fin militaire.
La maison Ruelle était le siège de l’ancienne poste sous l’ancien régime, l’endroit où officiait le Maître de poste.
