Realizzato nel tardo medioevo, il castello è stato oggetto nel tempo di ristrutturazioni e restauri che poco han lasciato delle originali caratteristiche angioine.Nei primi anni del 1500 il feudatario di Parabita Francesco del Balzo, conte di Ugento, ospitò le truppe francesi di Francesco I, che combattevano gli spagnoli dell'Imperatore Carlo V insediati a Gallipoli. Nel 1528 vi fu una storica battaglia contro i gallipolini guidati da Pirro Castriota, il quale sconfisse i francesi usciti dal castello di Parabita.In virtù di tale vittoria Pirro Castriota si trovò acquirente del feudo parabitano. E' quasi certo che l'architetto copertinese Evangelista Menga, su incarico dallo stesso Pirro, nel periodo 1540 - 1545, cominciò a modificarlo, riproponendolo con caratteristiche più vicine alla residenza che a baluardo fortificato, contribuendo comunque al suo rafforzamento sostituendo i vecchi torrioni circolari con i nuovi bastioni, cosiddetti "alla moderna", a pianta lanceolata.L'attuale soluzione è dovuta agli architetti Avena di Napoli e Napoleone Pagliarulo di Parabita che nel 1911, su incarico dell'allora proprietario Raffaele Elia, hanno definitivamente modificato il maestoso maniero rendendolo più gradevole dal punto di vista estetico. E' stata dedicata molta attenzione agli ambienti abitativi e di rappresentanza, che si sviluppano in altezza in modo maggiore rispetto ai secoli precedenti, quando l'aspetto più tozzo e le mura più alte meglio si confacevano alla sicurezza dei residenti. Lo stesso inserimento di nuove merlature hanno segnato il tramonto definitivo del vecchio maniero angioino. Gli archi, sensibilmente presenti nei vari prospetti, sono nella maggior parte a tutto sesto.I numerosi ambienti presentano diversi tipi di volte: molte a botte nei piani bassi, una botte ogivale nella sala d'armi, una a padiglione nella camera da letto, una a cupola su pennacchi sferici nell'immancabile cappella di famiglia, dedicata a San Francesco d'Assisi, nella quale sono custodite numerose reliquie.Nella cappella era custodito anche il corpo di San Vincenzo Martire, proveniente dalle catacombe di Commodilla in Roma, donato nel 1737 al duca di Parabita Giuseppe Ferrari. Fu trasportato nel 1855 nella chiesa matrice per volere dell'ultima duchessa di Parabita Lucia la Greca.Nelle stanze del castello, nel 1780, è nata una storia d'amore che ha per protagonisti don Francesco Saverio, figlio di don Giuseppe Ferrari, primo duca di Parabita, e Rosaria Cataldo, giovane popolana. La vicenda, scoperta da Mario Cala e dallo stesso pubblicata per la Pro Loco nel 1977, per alcuni aspetti presenta similitudini con il romanzo manzoniano de "I promessi sposi", ma non ha un epilogo felice. Infatti il "tentativo" di matrimonio non fu mai dichiarato legittimo, anzi con decreto del 9-6-1780 fu sancita la reclusione nel "Conservatorio delle Pentite" di Lecce di Rosaria e a don Saverio il divieto di accedervi. Il suo dolore fu tale che un anno dopo morì.Oggi il castello è abitato dalle famiglie Villani e Ravenna, discendenti degli Elia, a cui i beni feudali di Parabita sono pervenuti da Mariantonia, figlia della duchessa Lucia la Greca.