Il Castello è situato sulla vetta di una collina a 320 metri s.l.m. e viene edificato dai Longobardi nel VII secolo d.C. sui resti del tempio di Ercole. Il primo insediamento è forse un avamposto militare, utilizzato come baluardo contro il Ducato bizantino di Napoli, a controllo della strada Avellino e Benevento. Sede dei baroni di Avella - appartenenti alla dinastia normanna - passò nelle mani dei Del Balzo, Orsini e Doria del Carretto, fino a diventare possedimento della famiglia Spinelli che restaura la fortezza nel 1533. La fortificazione ha una forma tendenzialmente trapezoidale ed è costituita da tre aree distinte con andamento pressoché concentrico. La prima comprende il palatium Mastio, i cui muri interni, realizzati con materiale come blocchi di tufo e rari pezzi di calcare sagomato, presentano tracce degli adattamenti che la struttura ha subito nel tempo. Nell’angolo sud-est del palatium sorge la grande torre circolare, tipica dell’architettura angioina: un alto cilindro su una base a tronco di cono, con funzioni di maschio per proteggere la porta di accesso. Al primo livello, quello inferiore si trova la cisterna e nei vani superiori sono allocati i servizi e gli ambienti per la residenza. La seconda e la terza area sono formate da due cinte murarie.