Le prime testimonianze riguardanti il Palazzo sono presenti in un documento datato 10 maggio 1354, conservato presso l'archivio dell'Ospedale della Pietà (confluito nel Pio Albergo Trivulzio nel 1786). In una pergamena si cita una divisione di beni tra i due fratelli della famiglia Girami in cui si parla di beni siti nel territorio di Colutrano e in particolare si parla di un palazzo denominato sedime grande, composto da edifici, area magna, cassina, camere, pollaio e si cita una pusterla attraverso cui vi si accede, e di una via che dall'abitazione porta alla chiesa. Dalla descrizione presente sulla pergamena, dai confini geografici e dai confinanti, sembra di avere a che fare con il Palazzo, o quanto meno con parte delle unità che comporranno in seguito l'intero complesso del Palazzo. Successivamente i possedimenti passarono in mano alla famiglia Visconti. Un parte del palazzo in particolare fu ceduto a Vercellino Visconti, padre dell'arcivescovo Giovanni.