Una vez trasladado el Santo Oficio al Colegio de las Becas Coloradas en 1778, tras la expulsión de los jesuítas de España, el castillo fue demolido, estando ya en muy malas condiciones y sufriendo inundaciones habitualmente. Como curiosidad, obsérvese que a la Torre del Oro le falta aún la linterna que formará su tercer cuerpo en el siglo XVIII
