A data exata da fundação é desconhecida, mas a institução já existia e 1673 tendo tido a sua sede na Matriz. Em 1750 foi dada licença, pela câmara de Alcáçovas, para que a irmandade pudesse utilizar a igreja de S. Sebastião, bem como um pedaço de terra contíguo. Concessão confirmada, no mesmo ano, por D. José de Lencastre, senhor de Alcáçovas . Por isso, aquele templo passou posteriormente a ser designado por ermida de S. Francisco. Em 1786 foi obtida provisão régia para que a irmandade pudesse fazer uma feira franca no rossio nos dias 23, 24 e 25 de agosto, no lugar da feira que se fazia nos mesmos dias no extinto convento de Nossa Senhora da Esperança, para auferir o rendimento do terrado . Essa confraria, que costumava organizar a procissão da Penitência num domingo da Quaresma e festas a S. Luís e a S. Sebastião, terá sido extinta em 1880, uma vez que a sua documemtação não vai além desta data.