La presenza di un castello o "castrum" è già menzionata nel 1191 ma pare che l'edificazione dell'attuale fortilizio sia databile tra il 1454-1464 e il 1489, cioè fra la signoria di Filippo Borromeo e quello dei suoi figli, Giovanni e Vitaliano. Con certezza si sa che nel 1493 la costruzione e il fondo passarono in eredità a Ludovico Visconti Borromeo. L'antica fortezza quadrata si presenta, nella parte posta a nord, con le forme eleganti e solide proprie dell'originaria struttura quattrocentesta, con belle finestre ad arco acuto ingentilite dalle decorazioni in cotto. L'aspetto attuale del castello è il risultato di vari rimaneggiamenti avvenuti nel corso dei secoli: il più importante risale al Settecento. La nuova riedificazione, voluta da Giulio Visconti Borromeo Arese, avvenne sui cumuli di macerie a seguito della demolizione di tre lati del fortilizio, che ne determinarono una sopraelevazione rispetto alla struttura originaria. Attualmente è proprietà privata.