Sobranceiro a toda a cidade, o Castelo de Lamego, imponente e vigilante, afigura-se forte  no cimo do monte mais alto da cidade, contemplando os rios Coura, Varosa e Balsemão, sentinela atenta a toda a cidade,   às  encostas  do  Douro,  terras  de  Trás-os-Montes  e  Montemuro.  De acesso relativamente 

difícil, devido ao acidentado do terreno e à muralha que rodeia a cidade antiga, foi porém palco de varias lutas pela defesa da mesma. Alta e robusta, a torre de menagem ameada, ergue-se no ponto mais alto da cidade, a 543 metros de altura. De planta quadrada e porta elevada a 2 metros do solo, tem três pisos de madeira fortemente encastoada nas duras paredes de pedra. Unido à torre de menagem  por dois lados surge um  resistente  muro de pedra sem ameias, com mais ou menos 2 metros de espessura e forma de polígono hexagonal irregular, formando assim a praça de armas.

Anterior a tudo isto, talvez no século V A.D. existia já por aqui um castro (pequeno aglomerado populacional fortificado), provavelmente onde hoje se encontra o castelo, por ser este o ponto mais alto. Estes castros foram destruídos e reconstruídos ao longo dos tempos, até à reconstrução do primitivo Castelo de Lamego. A edificação do Castelo, como o conhecemos hoje, acontece na segunda metade do século XII, enquanto a muralha citadina ergue-se já no século XIII. Ao longo dos anos, o Castelo, perdeu a função defensiva para o qual fora construído, passando assim de fortificação militar a prisão, no século XVI, sendo posteriormente a cadeia da Comarca. Actualmente só existe a torre de menagem, recuperada pelo Agrupamento de Escoteiros de Lamego para sede do organismo e as muralhas, a da praça de armas e a da cidadela. Este monumento fica assim na história como um importante testemunho da fundação da cidade e um marco na formação de Portugal.

Protectora, a muralha rodeava toda a cidade da idade média, aconchegando casas e ruas estreitas. Tinha, tal como hoje, duas entradas apenas, a “Porta do Sol” na parte sul e a “Porta da Vila” a norte. Hoje existe ainda grande parte da muralha, apesar de um pouco escondida devido ao aglomerado de casas que ao longo dos tempos se foram apegando a ela. Além das  características  casas, o  bairro,  possui  também uma cisterna, com uns vinte metros de comprido e dez de largura, pensa-se ser uma das cisternas mais  bem  conservadas  do  Pais,  abobadada  com  ogivas 

sustentadas por cintas grossas que estribam em pilares da mesma espessura. É também aqui na cidadela que se encontra a antiga Sé da cidade de Lamego, onde Sardinario foi Bispo em 572.

De difícil acesso, o castelo, depois de vários combates, foi finalmente conquistado por Fernando Magno, bisavô de Afonso Henriques, na madrugada de 29 de Novembro de 1057. A descrição das dificuldades na sua conquista estão bem patentes na crónica geral de Espanha, que fala na construção, propositadamente para esta tomada, de engenhos de madeira como catapultas e torres. Apanhados de surpresa, os mouros foram empurrados para dentro do Castelo, enquanto residentes morriam ou eram feitos prisioneiros. A rendição não tardou em aparecer  e  Fernando Magno mandou levantar a cruz que marcava o início de uma nova época para a cidade de Lamego e mais um marco na conquista da península Ibérica aos Mouros.