O médico António José de Sousa, natural de Lisboa, mas que veio exercer medicina para Viana em 1843, criou, com o empenho da mulher, Maria José de Sousa, o Asilo Provisório da Infância Desvalida em 1859. Era destinado a recolher e alimentar crianças pobres com idades entre um ano e meio e quatro anos, durante os períodos em que as suas mães estivessem a trabalhar e acolhia também crianças órfãs. Foi uma das primeiras creches estabelecidas em Portugal, uma vez que a primeira surgiu no Porto em 1851. O funcionamento do asilo foi consolidado com a constituição da Associação de Caridade, em 1866, dirigida por Maria José de Sousa e, após a morte desta, pela filha, Francisca Deodata de Sousa. Estas entidades estavam sedeadas no espaço do antigo convento de São Francisco e neste mesmo espaço passou a funcionar, a partir da década de quarenta do século XX, o Centro de Assistência Infantil Imaculado Coração de Maria, dirigido pelas Irmãs Escravas da Santíssima Eucaristia e da Mãe de Deus. Este centro possuiu colégio interno para crianças e adolescentes do sexo feminino, órfãs ou oriundas de famílias desestruturadas, e creche e jardim-de-infância em regime de externato. Actualmente o colégio interno já não funciona mantendo-se a creche e o jardim-de-infância. Desconhece-se a data de extinção da Associação de Caridade, mas há registo do seu funcionamento, pelo menos, até 1972.