Il Castello Scaligero fu edificato nel periodo compreso fra il 1260 e il 1276, anno in cui è citato per la prima volta nei documenti; viene compreso nelle costruzioni difensive della Signoria degli Scaligeri, a tutela del territorio e ad osservazione della vasta valle precedente il Lago di Garda. Il castrum di Ponti è definito come un “castello recinto”, a forma poligonale ed allungata e racchiuso entro cinque torri, due delle quali vere e proprie costruzioni chiuse da mura, e le altre tre costituenti rientranze del camminamento di ronda.
Decaduta la sua funzione difensiva sin dal XVIII secolo, viene destinato come luogo di edificazione di un serbatoio dell’acquedotto (oggi demolito) e mentre l’interno della cinta viene utilizzato come ortaglia e coltivato sino a tempi recenti.
Oggi, dopo accurati restauri, il complesso appare sgombro dalla vegetazione infestante.