A atual Torre do Relógio é uma estrutura medieval, reformulada com D. Manuel, que serve de porta de entrada à vila amuralhada. Esta porta chamava-se em tempos recuados a Porta do Barroso, sendo principal entrada no burgo medieval amuralhado do Sabugal.