Il castello sorge a pochi chilometri da Feltre, su un promontorio morenico alla confluenza dei torrenti Stien e Arnaul. Le caratteristiche morfologiche e le tracce affioranti del sito preistorico fanno supporre che questo primo insediamento fosse posto a guardia della Valle di San Martino e s’inserisse nel sistema dei villaggi fortificati legati all’estrazione metallifera. La fortificazione feudale, sorta sui resti più arcaici, s’inserisce con buona probabilità nel sistema difensivo alto medioevale legato al dominio vescovile delle città di Feltre e Belluno. Lo stesso raggruppamento di fortilizi ricompare in un diploma imperiale stilato nel 1161 a Landriano, nei pressi di Pavia, nel quale Federico Barbarossa restituisce i tre presidi al vescovo Ottone di Belluno. Attualmente il Castello di Lusa ospita l’Accademia del Melograno, un’associazione che si prefigge di studiare e valorizzare la cultura materiale e le arti applicate.