Il castello consta di un cortile interno attorno al quale sorgono gli ambienti di cui si compone il castello, organizzati in due piani. Ai due angoli sul lato Sud del castello sorgono due torri (denominate De Rossi e dellImperatrice e alte rispettivamente 26,4 m e 24,1 m) delle quattro originariamente presenti. Riferimenti a queste torri sono contenuti negli scritti di Honofrio Tangho del 1640 e di Gennaro Pinto del 1653. Dettagli della cortina Ovest e della torre De Rossi. L'aspetto esteriore risente degli apporti stilistici dei differenti proprietari del castello; il contributo di Federico II di Svevia è tuttavia quello che maggiormente ha impattato sullaspetto finale. Lopera federiciana si presenta infatti ecletticamente ricca di apporti diversi, tipica della tendenza dellimperatore di affiancare stili molto differenti tra di loro, con un particolare riguardo allarchitettura islamica. Questo si nota nella varietà di motivi artistici allinterno del cortile e delle sale, ispirati appunto a modelli arabi filtrati attraverso modelli crociati, a cui si aggiunge il vistoso apparato di bugne che conferisce una nota di monumentalità alla severa ed austera costruzione normanna. Questo procedimento architettonico, di valore esclusivamente decorativo, si evidenzia nelle bianche cornici calcaree a bugnato lungo gli spigoli delle torri e nelle originali aperture esterne sulla facciata delle cortine e delle torri. Il materiale di costruzione del castello è prevalentemente pietra calcarea e carparo rosso. La muratura esterna è costituita di tre diversi tipi di strutture murarie che denunciano tre epoche diverse di realizzazione: piccoli cocci lapidei di pietra calcarea, sulla cortina Nord e Nord-Est; bugne rettangolari a bauletto con canaletti incavati, sulla torre dellImperatrice; bugne rettangolari poco aggettanti e schiacciate molto consunte dal tempo, su tutto il resto della costruzione. In particolare, il carparo rosso è stato utilizzato per realizzare le cortine e la parte alta delle torri; fino a 4,50 m di altezza su di queste ultime, infatti, sono state utilizzate bugne di pietra calcarea molto chiara, oltre che agli angoli delle torri e lincorniciatura di portali, finestre e alcune feritoie. Numerose monofore, bifore, trifore (queste sono prevalentemente risalenti al restauro del Pantaleo del 1907) e feritoie si aprono in maniera disordinata sulle cortine e sulle torri, confermando le diverse fasi costruttive. Le cortine alte circa 12 m sono divise in due piani; quelli inferiori mostrano numerose strette feritoie, quelli superiori diverse finestre di varia forma