Connu depuis le XVe siècle, le château de Bort appartient à la famille de Sèze depuis 1783. Inscrit à l’Inventaire supplémentaire des Monuments historiques, il a fait l’objet d’une restauration et d’un agrandissement au milieu du XIXe siècle, dans le style néo-gothique. Ces transformations ont été entreprises à l’initiative de Pierre Edmond Teisserenc de Bort, alors propriétaire de l’édifice.
Cette campagne a notamment entraîné l’ajout de plusieurs constructions : une tour ronde, un pavillon octogone et une tourelle polygonale. La chapelle a également été remaniée au niveau du chevet, avec la construction d’un chœur saillant. Les fondations de celui-ci ont commencé en 1855.
La chapelle conserve par ailleurs des peintures murales du XVe siècle sur les murs de la nef. À ce décor ancien s’ajoute un ensemble polychrome réalisé au XIXe siècle, attribué à l’atelier du peintre Louis Steinheil. La visite du château se fait uniquement sur réservation.