Dagli archivi dell'Abbazia di Farfa apprendiamo che la fondazione del Castello Orsini risale ai primi decenni dell'anno 1000 circa. Un'altra importante fonte documentaria è l'atto di compravendita tra la consorteria dei Camponeschi e Napoleone Orsini. Con tale atto Napoleone Orsini acquistò una serie di castelli sabini e proprietà. Per molti secoli la famiglia Orsini sarà proprietaria del castello, con qualche parentesi per passaggi di proprietà con i Mattei, e infine con i Vincentini. Dal 1982 la struttura è di proprietà comunale. 

In origine pensato come semplice avamposto militare farfense, il castello si caratterizzava per una forma rettangolare con una torre centrale poligonale (il mastio). Quello che vediamo oggi è il risultato di diverse stratificazioni architettoniche del 400 e soprattutto del 500/600. A tale periodo risalgono infatti la doppia scala monumentale d'ingresso, il portale con le due torri circolari, la corte interna e buona parte delle strutture residenziali dei piani alti. Il primo piano, piano nobile, è la parte più suggestiva. Oltre al salone dei ricevimenti, la cappella privata e le stanze da giorno dei signori, vi si trova una bellissima sequenza di stanze, dal grande impatto prospettico. Altrettanto interessanti sono gli affreschi, come l'iscrizione "Gerolamo Mattei Generale di Clemente VII anno MDXXVI", testimonianza del fatto che Papa Clemente VII, prevedendo l'arrivo dei Lanzichenecchi di Carlo V, stava organizzando la difesa del territorio sabino invitando un suo generale della famiglia Mattei.