All'ingresso est della città le rive del Castellano,già sede di Terme in epoca romana grazie alle acque salmacine che sgorgavano da Castel Trosino, rappresentano l'habitat ideale per Galeotto Malatesta che ha bisogno di un forte difensivo della città nella sua guerra contro Fermo e si avvale della scoscesità delle rive del Torrente Castellano in quel punto. Abbandonato poi in epoca successiva il luogo vede anche la costruzione della chiesa di Santa Maria del Lago, di forma dodecagonale. Nel 1548 quando Ascoli è definitivamente territorio dello Stato Pontificio, Sangallo il Giovane su committenza del Papa Paolo III Farnese, inglobando anche la chiesa rielabora secondo le nuove architetture difensive rinascimentali il manufatto che,con alcuni rimaneggiamenti,giunge fino a noi nella maestosità delle sue forme attuali. Nell'800 viene adibito a carcere cittadino, finchè nel 2010, a seguito di un lungo restauro della Soprintendenza viene restituito alla città come Museo dell'Alto Medioevo.