El la parte alta del cerro nos encontramos con las ruinas del sin duda monumento mas antiguo de la villa. Su construcción más primitiva es romana y posteriormente fue recubierta con nuevas construcciones y murallas visigodas y medievales.

El castillo se encontraba rodeado por la muralla antigua de la villa. que en la parte mas baja, tenia varias puertas como la de San Miguel, Santa Eulalia, Puerta del Monte y Puerta Sardina.

El Terremoto de Lisboa en 1755 hizo que se desplomara la mayor parte de sus muros hacia la zona de cuevas del Barrio de Santo Domingo.