La costruzione è attribuita al normanno Roberto il Guiscardo nel 1073 per controllare le incursioni saracene. Nei secoli appartenne ai più importanti feudatari del meridione, come i Sanseverino, i Ruffo, Saluzzo ed infine, nell’800, i Compagna, che lo trasformarono in palazzo residenziale. Nonostante numerosi riadattamenti, ha sempre conservato la sua maestosa struttura quadrangolare iniziale, di impostazione architettonica aragonese, con tre torri semicircolari su tre angoli e l'antico mastio.