Il Castello, sede comunale e area museale, è situato nel centro storico. Il fortilizio si presenta come un poligono quadrangolare, originariamente circondato da fossato poi colmato agli inizi del '900. La progettazione della struttura militare viene attributa alla scuola di Francesco di Giorgio Martini (fine '400), architetto al servizio di Alfonso II d’Aragona e dei feudatari di Nardò, gli Acquaviva. A Belisario Acquaviva, primo duca di Nardò, si deve la ricostruzione dell’attuale versione. Agli inizi dell’800 il Castello venne espropriato ai feudatari per poi divenire proprietà dei baroni Personè; a loro si deve l’attuale facciata in stile eclettico, all'inizio del ’900, quando l’edificio fu trasformato in palazzo nobiliare. I lavori, diretti dall’ing. G. De Maglie, inserirono motivi decorativi come il bugnato, le mensole figurate, ecc. Nel 1933 il Castello fu venduto al Comune di Nardò e oggi ospita una parte degli uffici comunali e il “Museo della Città e del Territorio”.