Dal 1338, per volontà di Ubertino I da Carrara, fu avviata la costruzione di un ampio complesso di edifici e di spazi aperti destinati ad ospitare il signore di Padova e la sua corte. La Reggia dei Carraresi fu pensata come un'isola all'interno della città. Del palazzo faceva parte l'attuale Loggia dell'Accademia, costituita da due portici sovrapposti sostenuti da sottili colonne in marmo. Un tempo vi si trovava la cappella privata di palazzo, decorata dal Guariento con affreschi raffiguranti le Storie dell'Antico Testamento (in parte perduti) e tavole lignee con le gerarchie celesti (oggi conservate ai musei civici Eremitani). L’intero complesso, circondato da mura merlate, era collegato al castello situato fuori dalla città attraverso il Traghetto, un percorso sospeso che iniziava nel cortile interno dell’attuale Casa della Rampa, dove sono ancora evidenti archi di diversa altezza che dovevano sostenere un camminamento inclinato.