Eremo in cima al Monte Soratte 691m che svetta isolato a metà fra le pianure del Tevere e la campagna romana, famosa meta di escursionisti numerosi sentieri portano in vetta., si La sua posizione strategica permette una vista a 360° è possibile dalla cima scorgere, per quanto riguarda i monti il Terminillo, il Velino ed il Gran Sasso, invece se siete veramente fortunati in alcune giornate potreste vedere anche il mare.
Fondato sulle rovine dell'antico Tempio dedicato al Dio Sorano (II sec. a.C.), il primo romitorio era ricavato in una insenatura naturale (dolina), sulla vetta del Monte Soratte e vi si accedeva scendendo da una piccola e stretta scaletta che permetteva l'ingresso della luce naturale. Qui si rifugiò San Silvestro scappato dalla persecuzione cristiana prima della conversione di Costantino ("Come Costantin chiese Silvestro dentro Siratti", cit. Dante, Divina Commedia) che trasformò il luogo pagano (l'area sacra del Monte è venerata dai tempi delle popolazioni pre-romane dei Falisci e Capenati) in una meta Cristiana, all'origine configurata nella classica forma basilicale degli impianti tardo antichi, come è testimoniato nel "Chronicon" Benedettino (V sec. d.C.).
Numerose trasformazioni, rifacimenti ed aggiunte si susseguirono già a partire dalla distruzione longobarda: la chiesa fu ricostruita per benevolenza di Carlo Manno che nel VIII sec. d.C. costruì la cripta ed il prespiterio rialzato: uno spazio voltato da crociere irregolari su piccole colonne in travertino e granito (anch'esse resti dell'antico tempio di Apollo) e capitelli di evidente influenza carolingia.
Tardo è l'insediamento monastico collocato tra il XII e il primo Rinascimento come testimoniano gli affreschi stratificati che (ormai) solo parzialmente ricoprono le arcate tutto sesto su piedritti che dividono l'aula chiesastica in 3 navate voltate a botte a sesto acuto.
Vi sia accede da un esonartece (atrio esterno alla facciata) diviso da un arco del quale ne rimane appena l'imposta, e da una piccola porta contornata da un impotte in marmo pentelico (parzialmente sostituita dal travertino in successive opere di restauro) con profilo scanalato, probabilmente eco dell'antica preesistenza citata da Virgilio.
Di fronte al portico i resti della torre campanaria (testimonianza di ripetuti crolli causati dai fulmini) che ancora nel 1600 custodiva la campana bronzea di San Silvestro.
La facciata mostra ancora i segni del restauro compiuto dai cittadini di Sant'Oreste nel lontano 1920, quando fu tentato un recupero dell'organismo, in particolare degli affreschi che fino agli anni '50 coprivano ancora le volte.
Gli scavi degli anni '80 riportarono parzialmente in luce i resti dell'impianto conventuale che fotografie d'epoca ancora ritraggono nella loro ultima essenza prima del completo crollo.
A nord del complesso è ancora possibile incontrare queste tracce
tra le quali spicca l'antica cisterna attorno alla quale un susseguirsi di piccoli vani, andavano a costituire l'impianto funzionale del monastero.
Il fronte occidentale mostra i segni delle trasformazioni, con le absidi giustapposte (l'abside centrale è probabilmente quella appartenente all'impianto più antico) e a queste un campanile turriforme, di probabile inserimento alto medievale.