Il palazzo marchesale è un complesso del XVI secolo. Dal 1292 al 1463 il feudo di Laterza fece parte del principato di Taranto. Questi anni furono caratterizzati da dure lotte tra paesi vicini e i laertini dovettero resistere agli assalti di Matera e Castellaneta. Ciò spinse i feudatari di Laterza a costruire il castello, il cui nucleo originario risale al 1393, data leggibile su un iscrizione dei capitelli del portale d'ingresso. Il palazzo fu poi distrutto per costruirvi il nuovo. Del vecchio castello tarantino di età magno-greca sono ancora visibili un tratto dell'antico fossato (per accedevi esisteva un ponte levatoio), le mura merlate che proteggevano a nord l'antico "castrum de tertia" (a sud i ripidi costoni della gravina offrivano una formidabile difesa naturale all'abitato), ed un cunicolo che terminava nella gravina, permettendo così la fuga dal castello. Nel 1546 fu investito del marchesato di Laterza Giovanni Battista I D'Azzia, il quale trasformò il vecchio castello in un palazzo residenziale tardo rinascimentale, l'odierno palazzo marchesale, com'è attestato da un iscrizione risalente al 1548 incisa in uno stemma bipartito in pietra bianca posto all'ingresso. Il palazzo è costruito per gran parte da pietre grezze. La facciata est è quella più rimaneggiata. Quella a sud, ricca di motivi architettonici rinascimentali, conserva ancora un balcone delle stanze superiori, affacciandosi al quale il marchese comunicava al popolo le sue decisioni. Sulla facciata a nord sono invece presenti le finestre inferriate, che servivano a dar luce alle prigioni del palazzo. All'interno è possibile ammirare l'affresco raffigurante Sant'Anna, scelta dovuta sicuramente ad Anna Capece, moglie di Nicolò Perez-Navarrete, ultimi signori di Laterza fino al 2 agosto 1806. Nel 1986, questa dimora signorile cinquecentesca fu ceduta al Comune di Laterza. L'amministrazione comunale è intervenuta con lavori di recupero e restauro del palazzo, convinta dell'importanza che una tale struttura riveste dal punto di vista storico-architettonico e turistico.