Le mura che oggi formano l'Eremo di Santa Caterina risalgono al 1624, ma chiesa, romitorio e hortus conclusus, furono eretti probabilmente prima dell’arrivo del primo eremita, sopra un piccolo tempio più antico e piccolo, la cui abside era orientata verso il monte. La facciata presenta un timpano interrotto all’apice e due finestrelle. L’interno è costituito da una navata che culmina in un altare fiancheggiato da colonne in pietra scura provenienti da cave locali. La chiesa è sormontata da un basso campanile a forma di piramide.
Secondo la tradizione l’eremo è stato ampliato e abbellito in seguito ad una apparizione di Santa Caterina che, bellissima e bianco-vestita, sarebbe apparsa in un pomeriggio di primavera a un pastorello, chiedendo di festeggiare questa visione ogni Lunedì di Pasqua.
In seguito alle manifestazioni miracolose e gli interventi di rifacimento della struttura, l'eremo divenne luogo di pellegrinaggio per tutta l'Elba.
Qui i marinai erano soliti portare i loro ex-voto per ringraziare la Santa dei pericoli scampati in mare. C'era inoltre l'usanza degli uomini di mare riesi di rendere omaggio alla chiesa quando si allontanavano dalla costa, salutandola col cappello in mano e la bandiera al picco. L'ultimo custode visse al santuario fino al 1858, da allora la chiesa fu completamente abbandonata e cadde in rovina, subendo anche tre furti clamorosi: il grande quadro di Santa Caterina, lo stemma e un stranissima maschera di marmo usata per le offerte.
Dalla geniale intuizione del fotografo e scrittore tedesco Hans Georg Berger, che riscoprì questo luogo più di trent‘anni fa in uno stato di totale abbandono, oggi l'Eremo di Santa Caterina è tornato ad essere crocevia di saperi e pensieri: un centro attivo per la creazione artistica e scientifica, spesso sede di mostre d'arte e fotografia. Dagli anni '90 l'Eremo di Santa Caterina è sede dell'Orto dei Semplici e di un campo catalogo, nati per promuovere ricerche e iniziative sulla flora naturale e coltivata dell'Isola d'Elba e delle isole toscane al fine di tutelarne la diversità ed evidenziarne gli usi botanici.