La storia di questo monumento è ricostruibile solo in parte, grazie a documenti sparsi; un primo documento risale al 1145 in cui i Da Castello vengono citati come proprietari di una residenza fortificata. In altri documenti risalenti al Due e Trecento parlano delle famiglie Torriani e Visconti; il 6 agosto 1329 viene pubblicato un diploma di Ludovico il Bavaro a Pavia il quale afferma il possesso delle terre ad Ottorino Visconti, ma quando vi fu la stesura degli Statuti della Comunità di Castelletto nel 1340 trascritti da Simone Gafforio non vennero riconosciuti i diritti di territorio ai Visconti perché vennero riconosciuti solo all'imperatore, essi sono conservati presso l'archivio Molli della Fondazione Marazza di Borgomanero. Viene dichiarato da un cronista milanese Galvaro Fiamma nel quattordicesimo secolo come baluardo di difesa del territorio milanese. Dopo la morte di Gian Galeazzo Visconti nel 1402 e dopo essere divenuto duca Filippo Maria, il castello fu consegnato a Ermes e Lancellotto Visconti, i quali erano i proprietari di Pombia e Varallo Pombia dal 1413; essi si dovettero tirare a sorte le parti della fortezza che gli spettavano, il tutto con l'aiuto di un notaio. Due dei più importanti proprietari del castello furono Alberto e Giovanni Maria Visconti. Il secondo era il conte di Sesto Calende e figlio di Lancellotto, lui ereditò una parte del terreno del padre e volse la sua lealtà a Ludovico il Moro. Suo fratello Alberto ebbe una lunga discendenza e nel 1471 associò al proprio cognome Visconti il predicato D'aragona, il quale li fu concesso dal re Ferdinando di Sicilia; successivamente nel 1495 Giovanni Maria Visconti equipaggiò una flotta di barche da spedire sul Ticino per evitare l'invasione del Milanese da parte dei Francesi, ma nel 1500 il Moro fu catturato e così Giovanni si rifugiò in Austria. Nel diciassettesimo secolo il castello diventò una residenza e in alcune relazioni di quel periodo si dichiara che non vi è mai stato un castello, ma in realtà era scomparso dalla memoria di tutti; Vagliano nella sua opera "Le rive del Verbano" del 1710 cita il castello come fortezza, poi viene presentato anche da padre Arista in un'opera stampata nel 1716 come residenza dei Torriani, fu fonte di ispirazione per il romanzo storico "Marco Visconti" di Tommaso Grossi. Nel 1748 il territorio passa in mano ai Savoia, poi ai francesi e infine di nuovo ai Savoia; anche Giuseppe Garibaldi nel 1859 usufruì delle barche di Castelletto per raggiungere la Lombardia. Oggi il castello di Castelletto sopra Ticino rappresenta solo un'antica e influente residenza di campagna