L'erezione del castello risale al periodo del Vescovo tridentino Federico Vanga (1207 – 1218) a salvaguardia degli interessi vescovili nell'area di Bolzano. Per la storia cittadina di Bolzano Rafenstein rappresentò a lungo un importante riferimento, perché i funzionari vescovili residenti a Rafenstein erano sempre dotati di beni e di uffici entro le mura cittadine. Nel conflitto tra il conte di Tirolo Mainardo II con il Vescovo Enrico di Trento (1276), il castello di Rafenstein venne distrutto e demolito. La seconda fase costruttiva del castello del 1350 è, nelle parti essenziali, ancora conservata. Essa si compone del mastio, una cinta muraria poligonale con una corona di merli a coda di rondine ed un palazzo multi piano. Nel 1599 il castello passò ai Conti di Wolkenstein, famiglia tra le più influenti del Tirolo. Il più importante dei Wolkenstein fu Marx Sittich che qui compose la sua significativa descrizione del Tirolo e si era dotato di una Wunderkammer con antiche sculture.