Il castello sorge su un sito in cui la via di collegamento tra Padova e Treviso superava la Tergola, importante nodo viario da controllare e proteggere con un presidio fortificato. La conformazione del castello dei “da Peraga” fa trasparire la tipologia del palazzo ed è il frutto di almeno 5 trasformazioni che ne hanno determinato l’attuale assetto. Importanti famiglie ne sono state proprietarie: dal 1200 i Da Peraga, i Badoer, i Da Lezze, i Michiel, i Giustiniani e i Bettanini, in seguito proprietà pubblica. Tra le sue mura si nascondono le tracce dell’antica fortificazione e di una torre più volte citate nelle fonti storiche. Trova conferma la presenza gentilizia nel sito del Castello dall’individuazione di due stemmi nell’arco di ingresso dalla strada, caratterizzato dalle formelle circolari disposte a grappolo e quello sopra la porta ingresso del palazzo con il leone rampante.