Al centro del complesso difensivo austriaco, il forte Castello, al vertice del promontorio che chiude al nord il golfo di Laveno, gode di un'eccezionale vista aperta sulle Alpi (dal Sempione al Gottardo) e, ovviamente, su tutto il lago. Per l'edificazione del castello, gli ingegneri viennesi avevano potuto riutilizzare parte di un precedente presidio medievale (da qui il nome del promontorio, già noto come Castello), ancora oggi riconoscibile nel recinto merlato della cinta esterna.
Al centro del recinto si slancia una torre, pure merlata, che fu ricostruita pochi decenni dopo gli avvenimenti da Francesco Pullè (1850-1934). Pullè era un etnografo-linguista distintosi in Italia in contesti internazionali per i contributi agli studi orientalistici. Per completare l'operazione a scala paesaggistca, Pullè decise di piantumare l'intero colle, mettendo a dimora ben 36.000 piante. Molte, nonostante recenti trasformazioni del colle, rimangono a corona del fortino-memoriale.