E' l'edificio più antico della città, costruito nel XVI, si pensa che sia stato donato nel 1491 da Lodovico il Moro all'amante Cecilia Gallerani, ritratta da Leonardo Da Vinci e conosciuta come "la dama con l'ermellino". Si pensa che Cecilia Gallerani non ci avesse mai messo piede perché i francesi in una delle loro spedizioni italiane glielo confiscarono restituendolo agli Sforza. La costruzione viene comunque attribuita alla famiglia Visconti che ne mantenne la proprietà sino al XVIII secolo quando fu ceduto alla famiglia Rubini. I nuovi proprietari cambiarono parzialmente l'assetto del complesso, trasformandolo in una tipica villa nobiliare con il tipico cortile lombardo. Nel 1773 la residenza signorile risulta esser passata di mano molte volte e un documento testamentario di quell'anno, riporta come nel suo grandissimo giardino dovessero esserci statue, giochi d'acqua, viali e delizie, scuderia e casa del giardiniere. Nel 1837, il palazzo e le sue terre passarono ancora di mano e il nuovo proprietario fu Giuseppe Morandi. Il palazzo, infatti, era stato locato ad un collegio femminile e tale destinazione fu mantenuta fino al 1859, quando divenne collegio maschile. Da un documento del 1878 si parla per la prima volta, della presenza di importanti affreschi barocchi, a soggetto mitologico, sui soffitti e sullo scalone. Nel 1888 il Comune acquistò il palazzo dall'ultima proprietaria, Virginia Morandi, per utilizzarlo come sede del Municipio cittadino. Nel vasto giardino del palazzo vennero aggiunti alcuni corpi per la costruzione dell'asilo e delle scuole e nell'edificio trovarono invece sede il Comune, gli uffici della Pretura, l'ufficio del Registro, il Catasto, la caserma dei Carabinieri, il teatro, la Cassa di Risparmio e l'abitazione del segretario comunale. Sicuramente l'immobile venne quasi stravolto nella sua planimetria interna e, addirittura, venne aggiunta una parte per adibirla a magazzino del sale e dei tabacchi. Nel 1912 si fece un'altra importante variazione al progetto, nella parte prospiciente la via Giuditta Pasta e, nel 1926, giudicato ormai inadatto, il Comune si trasferì nella nuova sede di Villa Gianetti, più idonea allo scopo. Nel palazzo Visconti restarono gli uffici della Pretura fino al 1985 e, negli spazi, trasfigurati e resi irriconoscibili, si sono susseguite le sedi di varie associazioni, senza mai provvedere ad alcuna manutenzione o restauro conservativo. Il 28 settembre 2007, un incendio distrusse gran parte del tetto. Molti locali vennero danneggiati dall'acqua usata per spegnere il fuoco. L'edificio è stato in seguito messo in sicurezza con una copertura provvisoria. Nel 2011 il Consiglio Comunale ha istituito una Commissione per proporre soluzioni per un recupero di Palazzo Visconti. Non è stato previsto alcun lavoro di manutenzione straordinaria né restauro a causa della crisi economica. L'edificio è attualmente in disuso.