Desde tempos medievais viveu na Lagariça a família dos "Pintos", que eram fidalgos e senhores de Riba de Bestança, na Torre da Chã, e do Paço de Covelas, no antigo concelho de Ferreiros.

Gonçalo Martins Cochofel foi, provavelmente, o primeiro senhor da Lagariça e casou, nos princípios do século XVI, com D. Briolanja Pinto, da geração dos Pintos de Covelas.

Durante a Idade Média, a Torre deve ter servido como atalaia de vigia de toda a região envolvente.

Em 1610, seria pertença dos Pintos Cochoféis, os quais procederam a obras de adaptação da Torre para casa de residência da família.

O nome Casa da Torre vem da existência da antiquíssima torre casteleja que está anexa ao solar.

O solar com a torre foi declarado Imóvel de Interesse Público, por decreto de 29 de setembro de 1977.

Esta casa passa por ser a "Ilustre Casa de Ramires" descrita no romance de Eça de Queiroz.