Il castello si innalza su un rilievo difeso dalla profonda incisione del torrente e domina l'intera media Val Lagarina. Il massiccio edificio attuale è il risultato di successive ricostruzioni, in prevalenza cinquecentesche, attorno al nucleo medievale, composto dal mastio e dal palazzo vecchio che gli è addossato. La cinta è in parte protetta dal fossato sul quale c'era il ponte levatoio.
L'atrio d'onore è un maestoso ambiente in parte occupato dallo scalone che conduce ai piani superiori e coperto da una volta a botte ornata da affreschi a riquadri di reminiscenza michelangiolesca (XVI sec.) e da dieci lunette sottostanti.
Attraverso una porta gotica si passa nell'atrio superiore, che ha la struttura di una galleria, la cui volta a botte è ornata da un leggero pergolato. Al piano superiore, nella sala principale, si può ammirare un ciclo di affreschi, che descrivono le guerre nei Paesi Bassi dal 1571 al 1577.