Il palazzo, che risale al XVI secolo, era di proprietà della nobile famiglia Magnoni. All'inizio del Settecento i due fratelli che lo abitavano si distinsero in guerra al servizio del re di Spagna Filippo V, dal quale ricevettero onori, cariche e il titolo di conti di Mulazzana. Lo stesso re fu ospite nel palazzo insieme al duca di Mantova. Cinque stanze sono tuttora affrescate. L'ultima erede sposò Gaetano Melzi dei conti di Cusano e per più di un secolo restò nelle sue mani prendendone il nome. Successivamente diventò un collegio di fama e alla vigilia della prima guerra mondiale fu messo in vendita.