La costruzione della villa risale al 1680, quando sotto lo stato del Vaticano il Vescovo di San Severino Marche, sopra un poggio nelle dirette vicinanze della città, eresse la propria dimora estiva.
Era preesistente in luogo un torrione che serviva da piccionaia, oppure da avvistamento, dato che si scorgono ad ovest la torre di Crispiero e ad est quella di Pitino.
Ai lati di questo torrione furono costruite le due ali in stile prettamente neoclassico, con giardino pensile ed una gradinata che lo congiunge al giardino inferiore.
Dopo l'unificazione dell'Italia nel 1861 la villa e vari terreni adiacenti espropriati alla Chiesa e messi all'asta, furono acquistati da una nobile famiglia di Camerino.
Passata inoltre alla famiglia Paparelli di Agolla in Comune di Sefro, la villa ed i terreni furono acquistati dalla famiglia Castelli, originaria anch'essa di Camerino.