Abitato sin da XVI secolo dalla famiglia dei Marchesi Valenti Gonzaga, fu ristrutturato in stile barocco nel 1670 dall'architetto-pittore fiammingo Frans Geffels. La facciata, opera dell'architetto Niccolò Sebregondi, fu portata a termine nel 1652. Nel Palazzo vissero molti personaggi della nobile famiglia, spesso al servizio dei Gonzaga e vi risiedette pure Silvio Valenti Gonzaga futuro Cardinale che trasferitosi a Roma nel 1738, sarà famoso per la sua preziosa collezione d'arte in Villa Borghese. I Valenti Gonzaga seguirono il declino dei Signori di Mantova e la fastosa dimora fu col tempo abbandonata, fino a quando nel 1990 un radicale restauro riportò il Palazzo agli antichi splendori. Gli interni furono decorati con affreschi di Frans Geffels e stucchi di Giovanni Battista Barberini. Pregevole sono il cortile all'interno del Palazzo e la galleria al primo piano decorata ad affresco e stucco.