Costituito dall'unione di tre preesistenti abitazioni di epoca tardo medievale databili tra il XIV e il XV sec., il palazzo fu ampiamente ristrutturato verso la fine del 1700. In tale occasione vennero realizzate le ampie sale del primo piano alle quali si diede accesso con l'elegante scalone in arenaria, opera dello scultore pavese Carlo Giuseppe Calderara, datato 1791. Secondo la tipologia delle abitazioni signorili bobbiesi, l'edificio presenta all'interno un cortiletto con portico sotto cui si conserva ancora un antico torchio in noce della seconda metà dell'800. Il palazzo è la residenza privata della famiglia Olmi.