À l’origine, le village de Duras était entouré de remparts auxquels s’ouvraient quatre portes. La Tour de l’Horloge est la seule de ces portes à subsister. Datant du XIIe siècle, elle fut renforcée par des mâchicoulis, dispositifs défensifs permettant de surveiller et de protéger les abords de la fortification. L’édifice a été inscrit à l’inventaire des Monuments historiques en 1953.
Du côté de la rue, la tour conserve deux ouvertures destinées aux couleuvrines, ainsi qu’une ouverture romane située sous la toiture. Celle-ci, coiffée en pyramide, aurait probablement été réalisée au XVIIe siècle. La face tournée vers les remparts comportait une bretèche, des archères et d’autres ouvertures pour couleuvrines. La partie supérieure de la tour paraît également avoir été remontée au XVIIe siècle.
L’église, ancien temple, ne possédant pas de clocher, la Tour de l’Horloge en a finalement été coiffée. Cette particularité associe ainsi la fonction défensive de l’ancienne porte à un usage lié à la vie religieuse du village.