Les ruines du Château de Bernieulles sont visibles depuis la route. Selon le texte source, les comtes de Boulogne firent de Bernieulles l’une des douze baronnies du comté. C’est dans ce contexte qu’une forteresse aurait été construite en 1040. Le terme de baronnie désigne ici une circonscription relevant du comté, tandis que la forteresse témoigne de la fonction défensive autrefois associée au site.
Le château fut détruit en 1610 par un violent incendie. Il n’en subsiste aujourd’hui que des vestiges peu élevés : les ruines, envahies par la végétation, dépassent rarement deux mètres de hauteur. Elles sont constituées d’un appareillage en damier associant grès, silex et moellons de craie. Deux tours restent toutefois discernables du côté de la rue. Le site a ensuite pris une dimension religieuse puisqu’il est devenu un oratoire dédié au Sacré-Cœur.