A presença do castelo evoca a emocionante mistura de lenda, poesia e heroísmo que envolve o início da história portuguesa. Neste Monte Largo, desenvolveu-se pela primeira vez o núcleo da futura nação de Portugal.
Por volta de 968, Mumadona, condessa da Galiza, ordenou a construção de um castelo neste local, onde a população poderia se refugiar dos constantes ataques desferidos pelas hordas de vikings, que chegavam pelo mar do norte da Europa, e pelos muçulmanos, que faziam incursões a partir dos territórios que ocupavam ao sul.
Ao assumir o governo da província conhecida como Portucalense de seu sogro, Afonso VI de Leão, o conde Henrique ordenou a construção de outra estrutura maior e mais sólida. Isso marcou o início da importante estrutura defensiva que podemos ver hoje, dominada pela torre de menagem quadrada que se ergue entre as quatro torres que guardam cada um dos quatro cantos das muralhas.
Embora não esteja estritamente documentado, é muito provável que o edifício localizado junto à parte interna da muralha norte tenha sido a residência do conde Henrique e o local de nascimento de seu filho Afonso Henriques, o primeiro rei de Portugal.