Les éléments les plus anciens du château de Montialoux, notamment le mur d’enceinte, la tour ronde du logis et la chapelle Saint-Jean, pourraient dater du XIIe siècle. Le site est installé sur plusieurs terrasses successives, qui pourraient constituer l’indice d’une deuxième enceinte.
L’organisation des vestiges permet encore de distinguer plusieurs parties. Au nord s’élève une tour carrée utilisée comme pigeonnier. À l’est, un passage couvert et voûté en berceau conduit à la porte d’entrée de la cour. Le grand corps de logis occupe l’ensemble du côté sud.
Le château semble avoir été habité jusqu’en 1786. Le logis conserve des traces d’aménagements datant de la fin du XVIIe siècle ou du début du XVIIIe siècle, parmi lesquelles figurent les vestiges d’un grand escalier. Lors d’une vente en 1932, l’édifice est déjà signalé comme étant en ruines. L’accès au site est relativement facile, mais l’entrée dans les ruines demeure périlleuse. Depuis les abords du château, la vue s’étend sur les vallées de la Nize et du Bramont.