La tradizione popolare fa risalire la fondazione dell’Oratorio al ritrovamento casuale di un’immagine della Madonna, avvenuto in un’epoca imprecisata.
L’edificio sacro è ricordato per la prima volta in una bolla del pontefice Leone X, datata 24 dicembre 1514, e in ogni modo la sua fondazione potrebbe collocarsi alla fine del secolo XV.
Originariamente doveva avere la dimensione di una piccola cappella, mentre la costruzione attuale risale al 1712, come si legge nell’iscrizione posta sul portale d’ingresso: "Hanc piorum manus almae Virginis renovarunt aedem A. D. MDCCXII " e venne consacrata nel 1724. L’Oratorio era famoso, nella Val di Sieve, per la festa della Madonna che vi veniva celebrata l’otto di settembre, mentre oggi è andato quasi del tutto perso il ricordo delle Bifolcate, delle Mulattiere e della Festa Piccina, che si teneva la quarta domenica di agosto. Il ritrovamento della tavola dipinta e della fondazione dell'oratorio sono legati a una leggenda molto importante. la madonna di rugiano è detta "dei boschi".