Il nucleo originario dell’attuale castello venne fatto costruire nel 1377 dal marchese Federico II sulle rovine del primitivo castello dell’XI secolo. I successori di questo marchese ingrandirono la costruzione e la resero la più solida roccaforte del Marchesato. Di forma quadrata, rinforzato agli angoli da quattro torri, di cui due quadrate e due rotonde, era circondato da fossati; le mura erano guarnite di merli ghibellini e un ponte levatoio isolava la fortezza principale dal cortile esterno. La stagione bellicosa del maniero si esaurì nel XV e fu trasformato in palazzo di villeggiatura, inaugurando la sua stagione più sontuosa che durò fino alla metà dell’Ottocento. La costruzione fu ristrutturata, il parco abbellito e ingrandito. Le severe stanze dell’antica fortezza furono trasformate in sale e saloni riccamente arredati e decorati e furono costruite due cappelle gentilizie sovrapposte nella torre di Valfrigida. I lavori furono svolti per volontà di Silvestro della Manta, abate