Sorto probabilmente sui resti di un antico fortilizio bizantino, le prime notizie rimontano al periodo normanno, cadde in parte dopo il terremoto del 1693 e buona parte dei conci vennero utilizzate per la ricostruzione degli edifici cittadini. Ne ebbero la signoria, fra gli altri, i Guttadauro di Reburdone, il cui palazzo sorgeva poco sotto il Castello, e già allora utilizzato come Carcere, fino agli anni '70 del secolo scorso.