La nascita del santuario è legata all'apparizione della Vergine Maria che avvenne il 21 maggio del 1556 giorno di Pentecoste; la Madonna, circondata da due angeli, apparve a cinque sorelle della famiglia Fiamberti, rivolgendo alle veggenti un invito alla penitenza e alla edificazione di una cappella. La storia racconta che l'evento si verificò su una pianta di rosmarino in località Carbonara.
I lavori per la costruzione della chiesa iniziarono nello stesso 1556 per concludersi nel 1558; il titolo di patrona della comunità di Arcola venne concesso dalla Repubblica di Genova poco dopo.
L'incoronazione ufficiale avvenne nel 1910 per le mani del cardinal Pietro Maffi dell'arcidiocesi di Pisa.