Fin dal 1581 in questo luogo, denominato “Colfiorito”, si venerava l’immagine della Beata Vergine del Giglio. Nel 1722 Rosalia Ottari, giovane donna bolognese cieca dalla nascita, volle essere accompagnata a visitare l’effigie perché si diceva che potesse ridare il dono della vista. Rosalia arrivò a piedi a Sambuca e, quando si trovò a percorrere l'ultimo tratto di mulattiera, la vista cominciò a rischiararsi fino a che, davanti all'immagine sacra, la riacquistò perfettamente. Ottenuta la grazia, la giovane decise di costruire in quel luogo un piccolo oratorio a custodia di quell'Immagine e una dimora con alcune piccole celle per sé e per tutte quelle donne che si fossero spinte ad imitarla. Grazie agli aiuti di alcune famiglie importanti pistoiesi, riuscì a trovare i fondi e a realizzare sia l’oratorio che il primo nucleo del convento. Nei secoli, il convento si espanse ed acquistò anche la funzione di Istituto e di Conservatorio, oltre a luogo di accoglienza per i più bisognosi.