Il Palazzo sorge su un’area precedentemente occupata dalla chiesa dedicata a San Filippo Neri e dall’attiguo convento. A seguito della confisca dei beni ecclesiastici ad opera dello Stato Italiano, la struttura passò nel 1861 al comune che la adibì prima a sede della Corte di Assise, successivamente a Caserma e quindi a convitto femminile sino al 1884, quando fu acquistata dalla Provincia di Ascoli Piceno. È oggi sede della prefettura. Al secondo piano, venne realizzato per esigenze di rappresentanza il grande Salone delle Feste, per la cui decorazione fu chiamato il più famoso artista marchigiano attivo fra Ottocento e Novecento: Adolfo De Carolis.