Il castello sorge sulle rovine di una villa romana del II secolo d.C. Verso l’anno 1000 iniziò la costruzione dell’edificio fortificato che nel 1035 apparteneva ai Vescovi Conti di Cremona. Nel 1202 il feudo fu concesso alla famiglia Sommi che vi apportò nuove opere di fortificazione come le torri merlate. Bernabò Visconti ne diventò proprietario nel 1366 e offrì il castello in dono alla moglie, Beatrice della Scala.
Nel 1380 la proprietà passa ai fratelli Secco di Caravaggio. Dal XV al XVII secolo, essendo al confine tra la Repubblica di Venezia e il Ducato di Milano, il castello fu occupato dagli eserciti che combattevano in quelle zone.
I discendenti dei Secco vi rimasero fino al 1862, anno in cui la proprietà fu acquisita dalla famiglia Silvestri di Sovere.
Divenuto ospedale militare durante la Prima e la Seconda Guerra mondiale, il castello diventò una proprietà privata nel 1956.
Dall'agosto 2018 è parte del Registro Italiano delle Dimore Storiche di Eccellenza.