L'Abbazia di San Salvatore in Valdicastro fu fondata fra il 1005 e il 1009 da S. Romualdo, il quale, nel 1027, vi concluse i suoi giorni. Padrone della valle era a quel tempo il conte Farolfo di Guido, signore di Montemartino e Civitella, il quale donò a Romualdo alcune terre per potervisi ritirare a vita eremitica.
Qui fondò prima un eremo e successivamente un'abbazia, la quale mantenne grande autorità e prestigio sino alla metà del '400, dopo di che ebbe inizio un lento declino. Della costruzione originaria in stile romanico, rimangono oggi soltanto la cripta coperta con tre volte a botte e due capitelli situati nel chiostro. L'attuale costruzione risale al 1262 ed è opera di un maestro Tebaldo, come risulta dalla lunga iscrizione leggibile all'interno della chiesa. Quella che possiamo ammirare oggi è di stile gotico, ha tre campate, tre absidi e sotto la nave traversa è posta la cripta. Il sarcofagoLe pareti della chiesa conservano ancora numerosi affreschi databili dal XII al XV secolo che raffigurano S. Cristoforo, S. Giovanni Battista e San Romualdo. L'altare è composto di un sarcofago romano del III secolo d.C. il quale, per 400 anni, ha accolto il corpo di S. Romualdo che, il 6 febbraio 1481, fu portato presso la chiesa di San Biagio in Fabriano dove ancora oggi si conservano le spoglie nella cripta sottostante l'altare.
Nel 1427 l'abbazia fu unita al monastero di San Biagio a Fabriano e nel 1652 divenne dipendente del comune di Fabriano. Nel 1810, con la soppressione per legge napoleonica degli Ordini monastici, l'Abbazia fu chiusa e i suoi beni indemaniati, passando poi a proprietà privata, come è tutt'ora.
La chiesa e il complesso del monastero sono tutt'oggi aperti e visitabili tutti i giorni