Conta a história que os Templários, antes de saírem de Castelo Novo, pela mão de um jovem sargento, esconderam a imagem da Senhora do Mosteiro no tronco de um castanheiro nas imediações do antigo mosteiro. Anos mais tarde, um pastor que andava por esse local, teve uma visão da Senhora que era a imagem da Santa escondida no castanheiro. Nesse mesmo dia chega à aldeia um velho romeiro que pede ao alcaide de então, D. Pedro, para passar no mosteiro o resto dos seus dias. D. Pedro não só acede ao seu pedido, como manda construir um novo mosteiro no lugar onde apareceu a imagem da Santa. Esse local ainda hoje existe e é a capela de São Brás, à entrada da Aldeia Histórica