Si raggiunge per una ripida strada, tracciata nel secolo XVI e parzialmente scavata nella roccia. Costruito sulla sommità del dosso roccioso che sovrasta l'abitato di Madruzzo sembra voler sorvegliare l'accesso settentrionale della Valle di Cavedine ed in effetti sorse nel secolo XII per controllare l'importante strada che collegava Trento e la piana di Arco e il lago di Garda passando per la valle di Cavedine e scendendo a Castel Drena.
Il castello è formato da una parte medioevale e da un edificio rinascimentale; se l'antica fortezza turrita e merlata è semidistrutta, ancora in buono stato è la residenza cinquecentesca, eretta in forma di palazzo sul lato meridionale della collina. Alla metà del secolo XII il castello era di proprietà della famiglia Madruzzo, nelle persone di Gumpone e di Boninsegna, che furono infeudati dal principe vescovo di Trento nel 1161; i Madruzzo lo tennero fino alla fine del Trecento, quando si estinsero. I Signori di Nanno, in Val di Non, nel 1448 acquistarono il castello e da esso presero il nome.
Giovanni Gaudenzio, il primo importante esponente della seconda famiglia Madruzzo, costruì accanto alla rocca medioevale un nuovo palazzo sulla metà del secolo XVI; fu dei Madruzzo fino al 1658, ossia fino all'estinzione della potente famiglia, da cui uscirono in serie non interrotta quattro principi vescovi di Trento. La parte più antica conserva due alte torri del secolo XII dette l'una di Boninsegna, l'altra di Gumpone; la seconda ha una singolare pianta pentagonale irregolare. Dalle pareti interne dalla parte antica fu staccato nel 1927 un affresco trecentesco di tema profano, ora conservato al Castello del Buonconsiglio, assai deperito e di difficile interpretazione. Presso il palazzo si trova la cappella, dedicata a San Nicolò con affreschi del secolo XVI e un altare di legno dipinto. Nel 1703 il castello fu gravemente danneggiato dalle truppe del generale Vendôme nel corso della Guerra di Successione Spagnola.