Fu edificato nel 1694 ad opera del principe Diego I d'Avalos, discendente della famiglia dei d'Avalos, originari della Spagna e venuti in Italia con Alfonso I d'Aragona. All'inizio dell'Ottocento venne devastato da due terremoti e fu successivamente restaurato da Don Onofrio Laurelli. Esso è sito in piazza Trento e Trieste, che una volta era una delle piazze principali della città, ed è stato sede di uffici molto rappresentativi. Ingloba, inoltre, una delle torri medioevali presenti nella città che si presume facciano parte di un antico castello longobardo ormai scomparso.