L’originaria residenza accanto alla Cattedrale sul Girfalco fu distrutta durante l’assedio di Federico Barbarossa. Nel 1391 Antonio de Vetulis, vescovo e principe di Fermo, realizza il primo nucleo del nuovo palazzo. Nel corso dei secoli i vescovi ampliarono, rinnovarono, restaurarono il complesso. L’Arcivescovo Alessandro Borgia nel 1741 annota di aver fatto comporre con marmi d’Istria il vestibulo, chiuso il cortile con un cancello e rivestita gran parte della facciata, per la somma di 1200 scudi. All’interno si articola in appartamenti arcivescovili, sala dell'udienza e sala d'aspetto, dalla vasta ed armoniosa volta, dove sono effigiati tutti i vescovi che ressero la diocesi dal 267 ad oggi. Nelle sale attigue si trovano notevoli opere d'arte come la Traslazione della Santa Casa di Loreto attribuita a Pietro Testa (1648), San Sebastiano ed Irene di scuola caravaggesca, con il santo raffigurato dopo il martirio e Santa Irene che gli toglie le frecce.