A Casa dos Condes, também muitas vezes chamada Solar dos Cabrais, é um exemplo de arquitectura civil de influência maneirista. Foi construída entre os séculos dezoito e dezanove, para servir de residência à família Cabral. O padre Eugénio Marques Lagedo, feitor da casa Cabral, mandou-a edificar e ofereceu-a aos condes para recompensá-los de prejuízos causados ou não acautelados. Na fachada é possível observar um brasão; a ligação que os Cabrais tiveram com uma filha da princesa D. Ana Francisca de Bragança, fez com que o sinal dos Braganças passasse para o primeiro lugar no brasão dos condes de Belmonte. Em segundo plano, aparece o símbolo dos Figueiredo, já que D. Margarida Cabral casou com o Senhor Figueiredo de Ota. Na actualidade, no espaço funciona a Biblioteca e Arquivo Municipal.