Con accesso dalla piazza principale, il castello feudale - noto come Castello Giannone dalla famiglia che ne è proprietaria dal 1900 - ha origine da un impianto fortificato bizantino. Dal 1200 è stato abitato dalle famiglie che si sono succedute nella signoria di Calopezzati: i Marra, i Ruffo,i Sanseverino, gli Abenante, gli Spinelli, i Mandatoriccio, i Sambiase (imparentati con gli Aragona,i Piccolomini, i Colonna). Presente una pianta a quadrilatero irregolare. Nel'400 furono aggiunte 4 torri difensive angolari e splendie bifore tardo-gotiche, delle quali una è ancora visibile nella corte interna. Le modifiche di tale periodo, progettate dall'architetto militare Ruffo, rimandano allo stile di alcuni coevi castelli della Dalmazia. All'interno: due eleganti camini monumentali, di cui uno in marmo verde e l'altro in pietra bianca; una preziosa biblioteca; finiture lignee, cassoni e decorazioni pittoriche con stemmi araldici