Emergenza architettonica del tessuto urbano, il castello si colloca ai margini occidentali dell'abitato in posizione privilegiata per il controllo dei territorio. La lettura e la comprensione delle sue fasi costruttive sono basate sulla lettura delle strutture esistenti, essendo carenti i documenti d'archivio. L'impianto originale a pianta rettangolare aveva quattro torri di forma circolare con scarpa orientate secondo i punti cardinali. Attualmente si conservano l'intera cortina del lato maggiore nord-ovest e il corpo di fabbrica sul lato minore sud-est e i relativi tre torrioni; dei versanti sud-est e nord-est della cortina muraria e del torrione orientale si conservano alcuni resti. Le torri realizzate in muratura mista di mattoni e pietrame, merlate e dotate di caditoie, sono coronate da un fregio a cerchi tangenti con sottostante fila di archetti ciechi in laterizio. I rilievi restituiscono una descrizione dettagliata delle strutture castellate: la cortina a nord realizzata con muratura in pietrame e ciottoli è lunga 28,40 m con uno spessore medio di 2,20 m, sul prospetto si rilevano inoltre feritoie e aperture rettangolari con dimensioni variabili. La torre occidentale, prossima all'abitato, ha un diametro di 7 metri; presenta una scarpa ed è suddivisa in ambienti coperti a calotta. La cortina si conclude con la torre maggiore di forma cilindrica con scarpa e altezza di 16,30 m con ambienti coperti a calotta. La parte terminale della torre è realizzata in ciottoli e mattoni con il coronamento aggettante a beccatelli privi di caditoie; la torre presenta vani coperti a calotta tranne quello a quota 5 metri che ha una configurazione ottagonale con copertura a spicchi. Compreso fra le due torri si trova il corpo di fabbrica adibito a residenza. Esso si articola su due livelli fuori terra e un livello seminterrato che comunica con la parte restante dell'edificio mediante una botola nell'androne delle scale; gli ambienti sono voltati con strutture a botte e a padiglione. La fascia sopra il redondone nella torre settentrionale ha un motivo decorativo con mattoni disposti a spina di pesce di notevole pregio. Le strutture del complesso fortificato sono per lo più costruite con materiale del luogo, in prevalenza pietre squadrate e ciuttoli. Le strutture murarie denunciano alcuni interventi di consolidamento databili alla fine del XV secolo ed altri, più recenti, risalenti al 1960. Tra la torre occidentale e quella verso la piazza, anch'essa protetta da una copertura inclinata,si rileva un corpo di fabbrica adibito a residenza che si estende anche nelle torri laterali verso via Rinforzi; limitrofo alla citata torre si trova un serbatoio idrico di costruzione recente che ostruisce la fruizione dello spazio del castello. Lungo via Muro Rotto si rilevano tracce di mura urbane con torre cilindrica a scarpa incastonata tra vecchie case e palazzi ottocenteschi, e in largo Porta Carbonara è presente una torre coeva. Esse sono realizzate con ciottoli di origine fluviale. Porta Carbonara rappresenta il fulcro del nucleo antico: il quartiere di Capo di Rocca, dove si hanno tracce di una torre a base quadrata detta Il Castelluccio", possibile punto di avvistamento in età normanna.