Il Castello venne fatto erigere nel 1198 dagli allora consoli del comune, i Graciano di San Vittore. Passò quindi a diverse famiglie di Novara e di Milano (gli Sforza, i della Porta, i Tornielli e gli Ala Ponzone). Costruito in mattoni a vista, presenta sul lato di accesso due torri angolari e una torre centrale a difesa dell'ingresso, con ponte levatoio tuttora funzionante, per oltrepassare il fossato che un tempo circondava l'intera struttura e di cui oggi si leggono solo le tracce alla base della facciata.
All'interno gli ambienti si articolano intorno ad un cortile porticato, realizzato nella sua forma attuale nel XVIII secolo,.
Dal cortile si accede al "Giardinone", realizzato quando il complesso aveva funzioni residenziali e non più difensive. Il giardino è interamente circondato da un grande muraglione ed era collegato tramite un viale al laghetto dove si trovava un casotto di caccia col bordello e le gondole.
Una delle caratteristiche di questo castello è che conserva ancora uno dei pochi ponti levatoi funzionanti. Nonostante sia ancora abitato, vige in uno stato di avanzato degrado e abbandono.