Doado por D. João V aos Oratorianos em 1745, seria aberto apenas em 1750, após se haverem concluído as obras no palácio e a ampliação da ermida. Os Oratorianos estavam obrigados a manter o ensino de Doutrina Cristã, Gramática e Retórica, Teologia Moral e Filosofia, bem como a garantir a assistência espiritual e o culto na igreja anexa. Aí se manteriam até à sua mudança forçada para a casa do Espírito Santo, em 28 de Julho de 1833, por ocasião do desembarque em Lisboa e ocupação do Palácio por parte de D. Pedro IV.