La spettacolare mole del castello Massimo sovrasta con le sue poderose strutture il borgo di Arsoli. Notizie del 997 redatte da papa Gregorio V ci comunicano che in tale epoca doveva esistere una qualche sorta di monastero fortificato di pertinenza dei monaci benedettini dell'abbazia di Subiaco. Un altro documento datato al XIII secolo attesta invece la proprietà del castello da parte della famiglia Passamonti, da cui nacque il condottiero di ventura Amico d'Arsoli alla fine del XV secolo. Nel 1536 questi cedettero il feudo agli Zambeccari che, per gravi dissesti economici, vendettero nel 1574 il castello all'antica, potente e nobile famiglia romana dei Massimo. L'acquisto del castello fu consigliato da san Filippo Neri, intimo amico di casa Arsoli come è testimoniato da una lapide posta all'interno delle sale del castello.
Intorno al 1670 Fabrizio Massimo, signore d'Arsoli, costruì all'interno del maniero una farmacia, un teatro e, autorizzato dal papa, istituì anche un mercato. Nel 1686 i Massimo vennero investiti del titolo di marchesi e nel 1733 ospitarono nel castello Giacomo III d'Inghilterra. Poco dopo, nel 1744, il castello venne assediato dalle truppe spagnole ed parzialmente saccheggiato nel 1798.
Nel 1938 vi venne ospitato Umberto di Savoia, futuro re d'Italia, anche se per breve tempo.
Il castello risale al X secolo anche se, a causa dei danneggiamenti ed alle conseguenti ricostruzioni, conserva ben poco delle prime antiche strutture. Uno tra gli interventi più notevoli e risolutori fu quello apportato dall'architetto Giacomo della Porta nella seconda metà del XVI secolo.
Altra grande trasformazione fu quella del 1874, creata in occasione del III centenario del possesso di Arsoli da parte della famiglia Massimo.
La severa e complessa mole del castello sorge sulla parte più alta dell'abitato ed ha, per le caratteristiche del terreno, forma piuttosto irregolare. Si accede al castello per mezzo di un vasto spiazzo aperto dal quale sulla sinistra si aprono i giardini all'italiana ed il monte Belmonte dove fa bella mostra di se la statua della dea Roma proveniente dai perduti giardini della villa di famiglia a Roma. Dall'altra, per mezzo di una rampa in salita che fiancheggia la roccia e le murature, si perviene, passando sotto un arco controllato da un torrioncino circolare con merlature, ad un secondo spiazzo con la chiesa a pianta centrale di San Roco. Da qui, attraverso un altro arco si accede ad una terza e più piccola corte da dove, attraverso un grande portale nelle murature si entra nel castello. Nel vestibolo d'ingresso fa bella mostra di se una carrozza ed alle pareti trofei di caccia. Passato il vestibolo, per mezzo di una rampa si perviene al piano nobile, frutto di un compromesso tra l'architettura del della Porta e le ricostruzioni della fine del XIX secolo, che conduce quindi ad una lunga galleria ornata da una preziosissima raccolta d'armi con corazze, alabarde, fucili, drappi e trofei. La galleria immette nelle splendide sale del piano nobile, tutte affrescate da importanti pittori del tempo, quali gli Zuccari. A questi nel 1749 si aggiunsero gli afrfeschi di Marco Benefial. Le sale sono tutte arredate con lo splendido mobilio originale, dai letti a baldacchino ai preziosi