L’area su cui sorge l’attuale castello è senz’altro il nucleo più antico di San Vito, le cui origini sono legate ad un edificio fortificato sorto in questo luogo prima del XII secolo, una semplice rocca con la sua cinta muraria dalle funzioni difensive. Diverse aggregazioni, ampliamenti e modificazioni dei secoli successivi hanno portato alla struttura attuale, che riporta ad una residenza nobiliare. Il Castello fu infatti dapprima sede del potente Patriarcato di Aquileia, tra il XII e il XIV secolo luogo di riunione del Parlamento Friulano e dal XV secolo residenza della nobile famiglia Altan, di origine germanica, feudataria del luogo. In particolare nella prima metà del Quattrocento esso fu la dimora di Nicolò II Altan, nunzio apostolico e vescovo di Urbino, che fece realizzare i bellissimi affreschi degni delle migliori corti dell’epoca. Riconsegnati all’ammirazione del visitatore da un recente restauro, raffigurano le Sibille e l’episodio di Costanza d’Altavilla.