Il Palazzo, antica residenza, fu acquistato dal Vescovo Foschini che, alla sua morte, donò una somma di denaro alla città per istituire un luogo di istruzione femminile.
A questa volontà testamentaria diede seguito il Vescovo Tacci, dando il via ai lavori di ristrutturazione della casa Orlandi-Cardani in Via Vannucci.
Nel 1901 il Vescovo chiamò in città le Missionarie del Sacro Cuore a cui donò la casa come "Centro di educazione" con la scuola elementare, l' asilo e una scuola di cucito.
Nel 1928, secondo il nuovo ordinamento, fu nominato preside Carlo Martegiani che decise lo spostamento dell'asilo infantile presso l'istituto del Sacro Cuore, spazio moderno e attrezzato affidato alla direzione delle "Figlie di Nostra Signora al monte Calvario" .
La parte monumentale del Palazzo conserva ancora il suo aspetto originale, con ambienti riccamente decorati e giardini, realizzati negli antichi camminamenti medievali delle mura, realizzati su diversi livelli, con bordature in bosso.