A dominação dos Mouros nos territórios que hoje correspondem à Portugal e Espanha foi uma das mais longas e marcantes, e até hoje são diversos os exemplos de sua influência por todo o país. É graças à eles, que um dos bairros mais conhecidos da cidade chama-se Mouraria, próximo à esta colina. Eles aproveitam o forte já existente, decidindo também ampliá-lo e transformá-lo numa fortaleza completa. De certa forma, pode-se dizer que este período, entre os séculos X e XI, marca o nascimento do castelo de São Jorge, embora ainda sem esta denominação. O conjunto torna-se maior, tem uma grande muralha incorporada ao longo de sua periferia, e passa a desempenhar novas funções, servindo inclusive como proteção para outros prédios da cidade, e abrigo de sua população.