Nel 1773, in seguito alla soppressione dell’Ordine dei Gesuiti che avevano stabilito nel palazzo il loro collegio, papa Clemente XIV concesse al Comune di formare una pubblica Biblioteca all’interno dell’edificio. Soprattutto grazie a Bartolomeo Mozzi la biblioteca fu aperta ai cittadini nel 1787 con il nome di Biblioteca Mozziana. Nel 1833 il domenicano Tommaso Borgetti decise di fondare una seconda biblioteca, composta soprattutto dei volumi che egli stesso donò: la Biblioteca Borgettiana. Le due biblioteche vennero fuse nel 1855 dando vita alla Biblioteca Mozzi Borgetti, che oggi, con un patrimonio di circa 400000 volumi, oltre 10000 manoscritti e circa 300 esemplari di incunaboli, è una delle biblioteche più grandi delle Marche.
La Sala degli Specchi, l'ambiente più raffinato dell'edificio, fu decorata a grottesche con affeschi che costituiscono un programma iconografico di stampo illuministico, come dimostrano i medaglioni con i ritratti di filosofi e scienziati illustri.