De traçado ovalado irregular, o castelo de Belmonte é um dos monumentos mais emblemáticos da Vila. A sua fundação deve-se a D. Afonso Terceiro, que em mil duzentos e cinquenta e oito autoriza o Bispo D. Egas Fafes a construir uma Torre em Belmonte.
Após a definição das fronteiras com o Tratado de Alcanizes, o castelo de Belmonte, numa segunda linha de defesa, perde a sua função militar, pelo que em mil quatrocentos e quarenta e seis, D. Afonso Quinto doa o castelo a Fernão Cabral Primeiro, para aí constituir a sua residência. No pano de muralha oeste é possível ver janelas panorâmicas e uma janela de estilo manuelino (atribuída a João Fernandes Cabral), que atestam a passagem do castelo para local de residência dos Cabrais.
Ao sair do castelo, à direita, fica a cruz de madeira de Pau Brasil (réplica da que foi mandada levantar por Cabral na primeira missa celebrada no Brasil), oferecida nos anos cinquenta pelo presidente brasileiro Juscelino Kubitschek de Oliveira.
