Fin da epoca romana, Serravalle ed il castrum hanno rivestito un ruolo di rilevanza strategica occupando una posizione chiave sulla via di comunicazione con il Cadore e l’Alemagna. L’attuale castrum fu costruito dalla famiglia da Camino nel XII sec., sulle vestigia dell’insediamento romano del I sec. a.C. Con la sua ampia spianata circondata da mura il Castello rimase per tutto il Medio Evo il fulcro principale attorno al quale si sviluppò il centro urbano di Serravalle. Sotto la Repubblica di Venezia fu residenza del Podestà fino alla fine della Serenissima.