Il castello più antico ed importante per la citta' e' il Castello Svevo, detto anche "castello grande" o "di terra" (per distinguerlo da quello aragonese o "di mare"). E' stato voluto nel 1227 da Federico II come residenza fortificata propria e per le sue guarnigioni (soldati saraceni e cavalieri teutonici), come difesa dalle ostilità dei brindisini rimasti affezionati ai Normanni e che mal sopportavano gli Svevi, contro i quali frequentemente si ribellarono. Per la sua costruzione furono impiegati materiali derivanti dalle vecchie mura e dai monumenti cittadini in rovina. Impostato originariamente a pianta trapezoidale, come quelli di Bari e Trani ma non come questi è certa l'impostazione su un presistente impianto difensivo normanno. Sul lato a ovest tra le due torri cilindriche, reimpostate in epoca angioina, fu realizzato il Dongione o Mastio, dove al piano terra vi era l'ingresso alla rocca. A levante e al centro tra le altre due torri quadrangolari fu impostata una torre pentagonale. Nel 1488 viene costruito dagli aragonesi un antemurale che circondava la parte a terra del castello, in questo modo fu conservato il nucleo svevo originale. La nuova cinta muraria, più bassa delle torri sveve, era rinforzato da quattro torri circolari (baluardi) che meglio rispondevano ai canoni di architettura militare dell'epoca, considerata anche la comparsa delle armi da fuoco. “Bello e fortissimo, che domina la città e gli altri castelli”… Così lo descriveva il doge veneziano nel 1496. Fu scavato un nuovo e più ampio fossato ed aperto un nuovo ingresso da ovest. Il fossato svevo fu coperto da volte e furono così creati dei locali interni e dei piazzali intorno al nucleo federiciano. In una di queste sale, quella situata poco oltre l'ingresso al castello una volta superato il ponte sul fossato e prima di entrare nel cortile interno (piazza d'arme), è custodita una epigrafe che riporta l'iscrizione relativa all'ampiamento del castello ad opera di Ferdinando d'Aragona. Inoltre sull'arco del corridoio che dalla sala porta alla piazza d'arme è collocata la catena angioina che serviva a chiudere l'ingresso al porto interno nel XIV secolo. Altre modifiche vennero operate nel 1526 (da Giovani Battista Pignatelli) e nel 1530 (da Ferdinando da Alarcon) al fine di assicurare una difesa più efficace, con la sopraelevazione dei parapetti e la realizzazione della Batteria di Levante e del Baluardo della Campanella sul lato mare, rivelatasi più debole durante l'assedio del 1528. Abbandonato dagli spagnoli, venne trasformato in penitenziario da Gioacchino Murat nel 1813, e dal 1909 è utilizzato dalla Marina Militare come stazione torpediniere e l'anno successivo venne attivato il comando dei sommergibili. Qui inoltre, dal 1916, la flottiglia MAS ha avuto un importante riferimento. Il Castello e' stato utilizzato anche come importante base navale nelle due guerre mondiali, dove venne ospitato nel 1943 il re Vittorio Emanuele III e vennero dislocate le funzioni di comando nel periodo in cui Brindisi e' capitale d'Italia (10/9/1943 - 11/2/1944)