Le nom de la commune vient du patois « Làry » qui veut dire « Hilaire » en français, le patron de la commune (Saint-Hilaire).
Ce village fortifié fut l’un des anciens fiefs des Armagnacs. Sur la placette, un château du XIIIème et XVIIème siècle (château privé) est inscrit aux monuments historiques depuis 1933. Il a appartenu à la comtesse Berthie von Colloredo-Mansfeld, grand-mère des célèbres Grichka et Igor Bogdanoff, qui séjournèrent enfants dans le château.
Deux « cross » et un puits de réserves sont encore visibles depuis la place.
La remarquable pile gallo-romaine de 11 mètre est classée monument historique depuis 1875 dominant la vallée du ruisseau de la Loustère. Cette dernière est une des huit subsistants dans le Gers et la mieux conservée.
