Con l'avvento della nuova cinta muraria di Belluno e la divisione in contrade avvenuta nel '300 la difesa sud della città prende forma con il castello di Rugo costituito dalla porta e da una grande torre rettangolare detta anche di Madeago: era infatti compito degli uomini di questo paese difendere la contrada in periodo di guerra. Questa difesa dominava il guado sulla Piave dove vi è tutt'ora Borgo Piave che all'epoca era un importante centro commerciale dove si scambiavano merci grazie al trasporto su zattera e vi erano segherie, concerie e botteghe di vario genere. Dalla torre, inoltre, si vedeva la zona del "Busighel" dove vi era una rinomata fucina che durante il Settecento "sfornò" spade visibili oggi a Venezia, in Germania e anche al Museo civico di Belluno. Nella zona di Porta Rugo, oltre al torrione principale, vi erano altre piccole torri equidistanti tra loro che diedero il nome alla contrada delle "Torreselle" oggi via Torricelle. Della porta originale possiamo vedere ancora l'arco acuto all'interno della cinta dove un tempo si poteva vedere lo stemma dei Visconti (signori di Belluno tra il 1300 e 1400). L'arrivo in città del primo rettore veneziano (Antonio Moro) nel 1404 e di Massimiliano d'Asburgo nel 1509 avvennero proprio attraverso questo ingresso. Fu invece su commissione del rettore Federico Corner all'architetto Lorenzo d'Alchini avvenuta nel 1622 che la parte esterna di Porta Rugo assunse questo aspetto particolare utilizzando il cotto (mattoni pieni) al posto della più comune pietra. Il riquadro centrale posto sopra l'ingresso accoglieva durante la Serenissima il leone di San Marco.