Au cœur de la bastide se trouvait le couvent des Augustins, fondé à partir de 1401 par le seigneur de Castelnau. Celui-ci souhaitait y établir les sépultures de membres de sa famille. Une communauté de moines augustins y résidait et veillait sur les tombeaux.
En 1569, les protestants saccagèrent le couvent. L’église fut toutefois épargnée à cette occasion, les Castelnau ayant embrassé la foi protestante au moment de la Réforme. L’édifice mesurait alors 52 mètres de long sur 13 mètres de large.
Après la Révolution, l’ensemble du couvent a presque entièrement disparu. Il subsiste aujourd’hui la tour-clocher, haute de 25 mètres et classée au titre des monuments historiques, ainsi que les pieds-droits de l’ancien portail de l’église et quelques vestiges, notamment un arc et un culot. Le portail du jardin médiéval appartient également aux éléments conservés.
Au XIXe siècle, un prêtre racheta des vestiges du couvent et y installa une école. Pour des raisons de sécurité, le site n’est pas ouvert à la visite.