L’eremo è un monastero-romitorio paleocristiano nel quale pare attestata durante l’epoca pagana la celebrazione di riti in onore del dio Bacco e del dio Pan. Il luogo di culto constava in origine di due grotte: quella situata all’ingresso dell’eremo, che divenne poi il refettorio dei monaci ed in seguito un magazzino, e la grotta detta “della Goccia”, al cui interno era custodito un tabernacolo con due statue in terracotta della Madonna fra due Santi. Dopo l’anno Mille un eremita di nome Guglielmo edificò l’eremo, ma rimasero a lungo credenze e leggende sul luogo ad animare la fantasia popolare. Nella chiesa era conservata anche una preziosa statua lignea, a grandezza naturale, raffigurante la Vergine col Bambino (conosciuta come "Madonna di Rupecava"). L'opera è stata datata attorno al 1340 e attribuita al celebre scultore Andrea Pisano a seguito del restauro eseguito nel 2000, che ha riportato alla luce i colori originali. Per anni, infatti, la statua è rimasta coperta da una tinteggiatura accesa e non aderente all'originale, opera dei fedeli locali che speravano così di preservarla dalle incurie del tempo. Oggi la Madonna è stata ricollocata nella pieve di Ripafratta, dove è custodita ed esposta alla venerazione dei fedeli.