Inserido no Centro de Artes, projeto desenvolvido pela autarquia de Caldas da Rainha, foi inaugurado em Janeiro de 1985, após doação da coleção de arte do escultor António Duarte à sua terra natal. Correspondendo ao propósito do artista, além da área expositiva que contém grande parte da sua produção escultórica dispersa por várias salas e do núcleo de arte sacra, inclui um espaço para desenvolvimento dos projetos de outros artistas.

Tem origem no Museu Portuense, também conhecido como Ateneu D. Pedro IV, inicialmente instalado no extinto Convento de Santo António da Cidade. Com a proclamação da República passou a designar-se Museu de Soares dos Reis, passando à categoria de Museu Nacional em 1932, época marcada por significativa reorganização, através da incorporação dos objetos do Paço Episcopal do Porto (Mitra) e do Museu Industrial, bem como do depósito das coleções do extinto Museu Municipal. Instalado no Palácio dos Carrancas desde 1940, o Museu Nacional de Soares dos Reis investiu, na década seguinte, na atualização das coleções de Pintura e Escultura com obras de artistas contemporâneos, tendência que, após o 25 de Abril de 1974, tem continuidade no Centro de Arte Contemporânea.