Fatto erigere nel 1568 dal vescovo Giulio Contarini per ospitare il Seminario dei Chierici. Trasformato nel 1750 dal vescovo Bembo, mantenne la funzione di seminario fino al 1793, quando venne ceduto dal vescovo Alcaini perché l'edificio avesse funzione di ospedale. Successivamente l'edificio è stato ampliato a nord, in tre fasi successive, in quella che oggi è detta Ala Caffi.
Ha ospitato l'ospedale della città fino a una ventina d'anni fa. Dopo anni di inutilizzo, è stato oggetto di un completo restauro che ha fatto emergere le parti legate alle sua evoluzione nel tempo. Il restauro è quasi ultimato e le Giornate di Primavera saranno un'occasione unica per poterlo percepire così com'è, prima che venga arredato e riaperto al pubblico come spazio espositivo.