Progettato da Biagio Rossetti su commissione di Sigismondo d'Este, fratello del duca Ercole I, nel 1492, fu costruito tra il 1493 e il 1503. Usato come una casa di riposo dagli Estensi e poi, a partire dal 1641, dai marchesi Villa, nel 1832 il palazzo fu acquistato dal Comune, al fine di ospitare la Galleria Nazionale d'Arte e l'Università Civica.