Il castello di Asso sorge su un altura che domina il suo borgo. La torre era di origine romana ed era costruita in legno. Successivamente venne pietrificata e incastellata intorno al XI sec - XII sec a scopo difensivo dalle razzie provenienti dai popoli del nord Europa avvenuta dopo la morte di Carlo Magno con la divisione dell'impero carolingio. Attualmente la torre è alta 21 metri, larga 8 con muri spessi 2 ma in epoca passata era molto più alta e fù abbassata per il recupero di pietre per l'edificazione delle chiese limitrofe inoltre era cinta di mura, con alcuni tratti bastionati. Ad oggi resta la torre maestra e l'antico caseggiato con il suo arco d'ingresso che forma i suo cortile interno del castello. Nella lotta tra guelfi e ghibellini, nel 1311, Matteo Visconti (vicario imperiale di Milano) fece saccheggiare e devastare la Vallassina da Facciolo della Pusterla suo condottiero. Quest'ultimo distrusse parzialmente le mura del castello, successivamente poi ricostruite.