Fu costruito tra il 1448 e il 1460 dal Magnifico Pier Maria Rossi con funzione difensiva sulla cima di un colle roccioso e panoramico. È tra gli esempi più significativi della architettura castellare italiana con pianta rettangolare attorno alla corte d’onore, tre cerchia di mura e quattro torri angolari. Chiamato “fortezza dal cuore affrescato" era anche un’ elegante dimora isolata ove il conte poteva incontrare l’amante Bianca Pellegrini. L’ interno è ricco di sale che prendono il nome dai soggetti degli affreschi a grottesche di Cesare Baglione che ne ornano le volte. Al piano nobile la straordinaria “ Camera d’ oro “con affreschi attribuiti a Benedetto Bembo che celebrano la storia d’ amore fra Pier Maria e Bianca. Le opere costituiscono un unico esempio in Italia di un ciclo di dipinti medioevali incentrati sulla glorificazione della amor cortese tra due persone realmente esistite.