Lavardac s’est développé autour d’un château aujourd’hui disparu. Le bourg fut d’abord fortifié sous la forme d’un castrum, puis organisé en bastide. Le terme castrum désigne un site fortifié, tandis qu’une bastide correspond à un bourg structuré selon une organisation propre à ces fondations urbaines. Les traces de ces premières périodes sont désormais très rares.
Le patrimoine de Lavardac conserve toutefois plusieurs témoignages des époques suivantes. Des maisons et des hôtels particuliers datant de la Renaissance subsistent dans le bourg. L’église, édifiée au XVIIe siècle, ainsi que le kiosque du XXe siècle, complètent cet ensemble de repères historiques et architecturaux.
Au XIXe siècle, le port de Lavardac constituait un carrefour important du commerce fluvial. Cette activité a contribué à l’histoire du bourg et à son rapport avec la voie d’eau. Aujourd’hui, le port est devenu un port touristique, intégré à la découverte de la ville et à la promenade.