Il palazzo originariamente era un fortilizio bizantino che venne ulteriormente fortificato con la costruzione di una torre. In seguito divenne residenza del feudatario di Montepeloso e, a partire dal XVI secolo, fu ampliato con le catalane cornici delle finestre e la scala che conduce al piano nobile. Difeso a settentrione da un'alta cortina muraria, si sviluppa intorno ad una corte quadrangolare alla quale si accede da un portale bugnato. Nella corte con pozzo decentrato si affacciano le tre ali del palazzo che si sviluppa su due piani: al primo ci sono locali destinati ai servizi; al secondo gli appartamenti del feudatario. Il palazzo ducale di Montepeloso raggiunge le sue forme attuali grazie ad un intervento operato nella prima metà del XVIII secolo. Allo stesso periodo appartengono le volte a padiglione del piano nobile. Oggi è ricordato come Palazzo Nugent, dal nome degli ultimi proprietari. All'interno si potrà visitare la mostra: "Nugent, latifondo e nobiltà"