Il palazzo commissionato dalla famiglia Averoldi alla metà del XVI secolo conserva un importante ciclo di affreschi eseguito da due tra i più importanti pittori lombardi del Cinquecento: Girolamo Romanino e Lattanzio Gambara. Nell’ultimo quarto del Settecento l’edificio è stato oggetto di un significativo intervento di rinnovo per adeguarlo ai gusti e alle esigenze dell’epoca, che ha coinvolto in modo preponderante il primo piano dell’immobile. A quest’epoca risale il ricco apparato decorativo che caratterizza la maggior parte degli ambienti interni del palazzo. La dimora è rimasta di proprietà della famiglia committente fino agli anni trenta del Novecento quando è stata acquistata dalla Fondazione Casa di Dio.