Il poderoso castello, che svetta in cima al poggio, viene edificato dai Normanni nel 1034 sulla preesistente rocca bizantina del VII secolo. Nel Cinquecento l'imponente costruzione viene ampliata raccordando con due nuovi corpi di fabbrica la coppia già esistente e creando così una corte su cui si affacciano due loggiati sovrapposti. Nel tempo la fortificazione viene estesa a coprire la sommità del colle per accogliere le unità abitative di una intera comunità. In questo luogo, per varie ragioni, si sono succedute personalità di rilievo, da Federico Barbarossa a Carlo V, da Cesare Borgia a Olimpia Pamphili, oltre alla presenza di Galileo Galilei che qui si rifugia dalle persecuzioni. Monumento nazionale, “dimora storica internazionale”, “rarità italiana”, questi alcuni dei riconoscimenti attribuiti al castello, che è sede anche di un Centro di Coscienza Planetaria del prestigioso Club di Budapest.