L’attuale conformazione deriva dalla riorganizzazione in un progetto unitario di costruzioni precedenti nella seconda metà del XV secolo, per volere di Azzo I Besta e di Ippolita Alberti con Andrea Guicciardi, suo secondo marito, seguendo il modello dei palazzi signorili del tempo. Successivamente Azzo II e la moglie Agnese Quadrio diedero ulteriore impulso alla decorazione pittorica trasformando il Palazzo in una vera e propria corte rinascimentale in un periodo di grande fermento per la storia politica, economica e religiosa della Valtellina. Divenuto dal 1726 proprietà dei Morelli, fu nel secolo successivo frazionato tra diverse famiglie di contadini e adattato ad abitazioni, stalle e fienili. A partire dal 1911 fu acquistato dallo Stato italiano e vennero intrapresi importanti restauri, fu aperto al pubblico nel 1927.