El castillo se encontraba rodeado por la muralla antigua de la villa. que en la parte mas baja, tenia varias puertas como la de San Miguel, Santa Eulalia, Puerta del Monte y Puerta Sardina.

El Terremoto de Lisboa en 1755 hizo que se desplomara la mayor parte de sus muros hacia la zona de cuevas del Barrio de Santo Domingo.