Il palazzo, costruito nel luogo dove sorgeva il Castello di Borgolieto (detto "dell'Oca"), appartenne ai nobili cremonesi Ala Ponzone fino al 1870, fu poi venduto e frazionato in diverse proprietà, subendo considerevoli interventi sulla struttura, dando inizio al lento processo che ha condotto all'avanzatissimo stato di degrado in cui versa il palazzo.
Lavancorpo centrale formato dal portico architravato con colonne doriche binate, il soprastante loggiato con lesene ioniche ed aperture ad archivolto e il timpano in cima rappresenta un bellesempio di architettura neoclassica. Nell'insieme sono numerosissimi gli elementi neoclassici frammisti ad altri pre-neoclassici. I loggiati che sormontavano i corpi laterali furono abbattuti agli inizi del '900, periodo in cui si procedette poi alla demolizione totale del corpo laterale destro pericolante. Un'attico balaustrato in diretta continuità con lo spazio aperto dei loggiati contornava tutta la sommità dell'edificio
Il progetto nacque probabilmente nei primi anni del 1780 per volontà di Gian Francesco Ala Ponzone come edificio residenziale legato all'amministrazione delle sue proprietà terriere. I disegni della Villa furono presentati nel 1788 all'Accademia delle Belle Arti di Firenze, e permisero all'architetto Luigi Bianzani (1757-1816) di ottenere il titolo di professore associato.