L’Hôtel des Oratoriens correspond à l’ancien collège des Oratoriens, établi sur le quai Henri IV. Il fut bâti en 1614 à l’emplacement de « La Pensée », l’ancienne maison de l’armateur dieppois Jehan Ango. Cet édifice fut ensuite détruit lors de la Grande Bombarderie, une attaque anglo-hollandaise qui entraîna la destruction du centre-ville de Dieppe en 1694.
Au début du XVIIIe siècle, un nouvel édifice fut érigé pour remplacer le collège disparu. Construit en briques et en pierres de taille, il se compose de trois parties disposées autour d’une cour rectangulaire. Le collège conserva sa fonction d’éducation jusqu’à la Révolution. Le bâtiment fut alors réquisitionné, avant de retrouver sa vocation d’enseignement. Il devint successivement un collège public, puis un lycée.
À la suite d’un incendie survenu en 1938, une école fut construite en 1959 sur les hauteurs de Dieppe. Aujourd’hui, une partie de l’ancien bâtiment accueille une école maternelle, tandis que l’ancienne chapelle sert de cantine. L’autre partie est occupée par des appartements.