Riedificato nel XV secolo su committenza di Rodolfo (1452-1495), signore di Castiglione delle Stiviere, Castel Goffredo, Solferino, Luzzara e Poviglio, il Palazzo venne destinato inizialmente a ospitare il vicario dei Gonzaga a Castiglione. Nel XVII secolo subì un ampliamento ad opera del marchese Francesco Gonzaga, che ne fece la propria dimora urbana.
Venne ristrutturato nella seconda metà del Settecento da parte del governo austriaco, che lo utilizzò a uffici giudiziari con annesse prigioni su progetto dell'architetto Carlo Antonio Bollani. All'interno sono stati rinvenuti pregevoli affreschi di scuola mantegnesca.