I ruderi dell'antica fortezza (il fortilitium Gardonae) si trovano in località Gardona, a nord dell'abitato di Castellavazzo. Il luogo è facilmente raggiungibile percorrendo il sentiero che dal cementificio si snoda in quota sopra il tracciato ferroviario, ricalcando l'antico percorso della strada romana.
Eretto nel 1171 da Ottone, vescovo di Belluno, il fortilitium Gardonae apparteneva, con il castello di San Giorgio a Soccher, al sistema difensivo della Contea di Belluno nel Trecento.
Del presidio sono attualmente visibili i ruderi della torre, di inusitata pianta triangolare, che costituiva il corpo principale di un più esteso complesso. In prossimità dei resti del castello, a monte della strada di accesso, si trova la cava di pietra utilizzata per la costruzione del fortilizio.