La Società Colombaria fu fondata, il 15 maggio 1735, da quattordici amici e cultori dell’erudizione (fra cui Bindo Simone Peruzzi, Andrea da Verrazzano, Giovan Vincenzio Fantoni). Il nome deriva dal fatto che i le riunioni avvenivano in una torretta nella parte alta del palazzo di Giovanni Girolamo de' Pazzi in Borgo degli Albizi. Negli anni la Colombaria si collocò in una propria dimensione specifica di ricerca e formò con altre Accademie fiorentine, come la Crusca e i Georgofili, una formidabile base per le indagini e la documentazione attinenti ai beni culturali, in seno al generale progresso scientifico. Dopo la guerra e la quasi totale distruzione del suo patrimonio l'Accademia si trasferì nel complesso delle Oblate dove si trovava il nucleo primitivo dell'antistante ospedale di Santa Maria Nuova. Qui era presente il reparto femminile, con una chiesa denominata Santa Maria, per questo quando fu costruito l’ospedale sul lato opposto della piazza fu chiamato di Santa Maria Nuova.