La tour des Anglais constitue le dernier vestige de la forteresse des barons de Randon, édifiée au Moyen Âge à la demande du seigneur Philippe de Randon. Cette forteresse appartenait à la baronnie de Randon, l’une des huit baronnies du Gévaudan entre le Xe et le XVIIe siècle.
Selon le récit transmis, Philippe de Randon aurait retrouvé son château entièrement détruit à son retour d’une croisade. Il aurait alors décidé de faire reconstruire un château neuf, établi de manière à dominer toute la région. De cet ensemble fortifié, seule la tour des Anglais subsiste aujourd’hui.
La forteresse est également connue pour avoir été assiégée par les troupes de du Guesclin au cours de l’été 1380. La tour, construite en moyen appareil de granite, conserve trois étages. Le moyen appareil désigne une construction réalisée avec des blocs de pierre de dimensions relativement régulières. Le nom du village est lié à cette reconstruction : il évoque le château « neuf » bâti par Philippe de Randon.