Il convento di San Girolamo venne fondato nel 1354 da Francesco di Pietro Porcari per uso dei Gesuati, la fraternità che si ispira alla spiritualità di San Girolamo nata intorno al 1360 per iniziativa del senese Giovanni Colombini. Nel 1469 si lavorò alla realizzazione del primo chiostro e una parte di dormitorio, seguito dal secondo chiostro nel 1481. Nel 1552-55 l'edificio fu occupato e devastato dall'esercito spagnolo, ma tornò ai frati Gesuati poco dopo, fino alla soppressione dell'ordine da parte di Clemente IX nel 1667, passando alla Congregazione delle Vergini Abbandonate. Il convento risulta molto danneggiato dal terremoto del 1798. Nel 1855 il granduca Leopoldo II lo cedette alle Figlie della Carità di San Vincenzo De' Paoli e tuttoggi è sede della loro Casa Provinciale.