Si raccoglie una tradizione gentile che racconta di due fanciulli che, sperdutisi nella boscaglia, vengono aiutati e soccorsi dalla Vergine Maria che appare loro col Bambino, sopra un albero fruttifero abbastanza comune nella zona: un noce. La tradizione colloca l' avvenimento in un giorno imprecisato del 1501 in un luogo che doveva essere molto fuori mano.
Il borgo di Inverigo situato più in alto sulla collina contava qualche centinaio di abitanti raccolti per la maggior parte attorno alla minuscola parrocchiale. Il 2 giugno del 1519 si inizia la costruzione di una chiesetta in pietra.
Nel 1570 la parrocchia è visitata dal vescovo di Milano Carlo Borromeo e dal verbale della visita abbiamo notizia dell' esistenza della cappella nel fondo valle. Probabilmente la costruzione era insignificante, ma già il luogo è segno di pietà radicata nella gente dei dintorni.
La Vergine col Bambino venerata col titolo «Madonna delle grazie» e anche in termini popolari come «Madonna del pane» è definitivamente ricordata come «Santa Maria alla Noce». In tale circostanza il Cardinale decide di far edificare un seminario per la formazione di sacerdoti che avessero cura del popolo della zona; e il luogo prescelto è proprio lì accanto alla cappella di Santa Maria.
In una seconda visita di S. Carlo a Inverigo effettuata nel 1582 viene decisa la costruzione di un decoroso Santuario e ne viene approvato il disegno.
Il disegno proposto e approvato da S. Carlo ricalca i canoni architettonici del tempo in cui si concilia decoro, luminosità, funzionalità liturgica. Il progetto nasce dalla scuola di Pellegrino Tibaldi che all' epoca riesce ad esprimere le direttive del vescovo di Milano sull' onda di rinnovamento culturale voluto dal concilio di Trento.
Il Cardinale Federico Borromeo nella visita pastorale del 31 agosto del 1606 ha la sorpresa di constatare che i desideri dello zio non sono stati esauditi specialmente per mancanza di fondi. La gente dei dintorni è povera, le poche offerte raccolte vanno quasi tutte a sostentamento dell' attiguo seminario.
Nel 1638 il seminario viene chiuso, ciò determina il progressivo avanzamento dei lavori del santuario.
Un altro fatto determinante può essere riscontrato nel favore che a questo luogo di pietà rivolge la famiglia Crivelli che dominava sul territorio. L' edificio deve essere stato completato tra il 1660-70 se nel 1671, come recita una lapide latina murata a destra dell' altare maggiore, il marchese Giovan Battista Crivelli, creato da papa Urbano VIII Cavaliere e Commissario generale del militare Ordine dell' Immacolata Concezione, stabilisce la celebrazione di una messa ogni venerdì alla presenza di quindici poveri che al termine dovevano percepire un' adeguata elemosina.
E' questo uno dei segni più curiosi, ma al tempo stesso più realistici, sia della condizione della popolazione di Inverigo nel tempo, sia della «memoria» tradizionale del santuario.