La cossiddetta Torretta sorge a Irsina sul limite meridionale della cinta muraria e fu costruita dai Bizantini a partire dalla fine del IX secolo. I Normanni la fortificarono ulteriormente con la costruzione di un Barbacane rendendolo un rozzo castello. Il sito divenne poi l'elegante residenza degli Angioini e, nel XVII secolo, essendo stato adibito a tribunale, fu teatro delle rivolte dei repubblicani che decapitarono il Giudice Salazar.