Il castello di Massafra si trova nel centro storico di Massafra, in località lo Pizzo e si affaccia sulla gravina San Marco. La sua struttura e i motivi architettonici sono simili ad altri castelli pugliesi, con quattro torrioni disposti a quadrilatero e legati da cinte murarie. Le torri più antiche sono a pianta circolare mentre il torrione a sud-est è ottagonale.
Le prime notizie sicure del castello risalgono al 970. In un diploma del 1081 il castello risulta di proprietà di Riccardo Senescalco. Con il dominio angioino, il castello assunse l'aspetto di un fortezza con bastioni e torri merlati. Subì ulteriori trasformazioni sotto gli Aragonesi e nel XVIII secolo la famiglia degli Imperiali ricostruì la torre ottagonale e la facciata verso la gravina, opera dell'architetto leccese Mauro Manieri. Il castello passò successivamente in possesso di diversi proprietari e fu infine acquistato dal Comune.
L'ingresso principale, su via La Terra, è tramite un ampio portale da cui si accede all'atrio, con al centro un pozzo ed una rampa che portava al ponte levatoio, di cui sono ancora visibili le carrucole. Da una scala d'onore si accede agli ambienti della residenza signorile. Si conservano locali adibiti a diversi usi: scuderia, fienili, armeria, prigioni (corrispondenti alle torri su via La Terra e alla torre ottagonale), magazzini, neviere e pecerie (dove si conservava la pece per le fiaccole). Vi era anche una cappella dedicata a San Lorenzo. Secondo la tradizione popolare esistono passaggi segreti e una galleria che collega il castello al mare.
Negli anni recenti sono stati eseguiti diversi restauri alla struttura. Nel 1965 venne riparata la torre a sud-ovest, che era crollata e nel 1975 il parapetto che era franato. Intorno al 2000 è stata consolidata la torre est e risistemato il piazzale antistante il Castello, i cui lavori sono stati co-diretti dell'arch. Francesco Coratella. È stato inoltre costruito un moderno ascensore. Gli ambienti del castello sono utilizzati come sede della "Biblioteca civica" e del "Civico museo storico-archeologico della civiltà dell'olio e del vino".
Nel 2007 il castello è stato immortalato, come simbolo della città, in un francobollo dedicato a Massafra, emesso il 13 aprile 2007.