A ermida de Stª Maria do Castelo vem referida na visitação da Ordem de Santiago de 1482, sendo a sua denominação alterada a partir de 1510 para Nossa Senhora do Castelo. Embora não exista alusão ao seu fundador, supõe-se que D. Paio Peres Correia a tenha mandado erigir ainda no século XIII.

A ermida compõe-se de três corpos: uma galilé em abóbada de berço e paredes revestidas por “tapetes” de azulejos azuis e amarelos de “tipo maçaroca” do séc. XVII, construída posteriormente e constituindo-se como um acrescento; a nave central com teto em abóbada com arestas cruzadas e paredes também revestidas com azulejos iguais, suportada por seis contrafortes exteriores; a capela-mor, também de construção posterior e que dá acesso a uma sacristia situada ao lado direito. A sacristia é de planta quadrada e possui o fontanário para lavagens, ainda que desativado. Existem ainda, do lado direito, casa de habitação para o ermitão (guarda da capela) que possui comunicação com a sacristia. Esta casa terá sido construída posteriormente. Os tetos eram decorados com pinturas de motivos florais.

Ermida Classificada como Imóvel de Interesse Público

Faz parte do imaginário popular, uma lenda que tenta justificar a inclusão na planta da igreja de uma rocha pertencente ao conjunto de afloramentos existentes em todo o morro do Castelo. Conta essa lenda que em tempos muito recuados, Nossa Senhora terá aparecido em cima dessa rocha. Quando foi decidido construir o templo, ninguém pensou incluir a dita pedra na sua estrutura, porém, sempre que se começava a erigir a igreja, deixando a pedra de fora, o edifício ruía. Somente quando o templo foi construído, utilizando a pedra como alicerce, conseguiu manter-se de pé.

Uma outra lenda que tem a ver com esta pedra, embora com carácter mais profano, refere que ao encostarmos o ouvido à pedra, podemos ouvir o barulho do mar e que, se porventura, essa pedra fosse arrancada, o mar entraria por aí e alagaria a Vila de Aljustrel.