L'edificio venne scelto dalla duchessa Eleonora Gonzaga (1492-1550), sposa di Francesco Maria I della Rovere, quale residenza ducale all'interno della città, dopo l'abbandono del grande progetto del duca Guidubaldo tendente a trasformare la Corte Alta in luogo di delizie. Nel suo sviluppo il palazzo è stato condizionato - e al tempo stesso ha condizionato – il tessuto urbanistico della città, tanto da rendere necessaria la creazione di un passaggio che scavalca via Cesare Battisti, già via San Carlo, per collegare le due unità edilizie che lo compongono. Ciascuna di queste è incentrata su un cortile ed era completa di un giardino che si sviluppava ad oriente, ora non più esistente.