Nel 1314 la Comunità fossanese ed il principe Filippo d'Acaja stipulano una convenzione, nella quale emerge in particolare l'atto di sottomissione del Comune all'autorità di quest'ultimo, che pochi anni dopo darà inizio alla costruzione del castello, ubicato in posizione discosta dal nucleo urbano ma strategicamente funzionale. Il castello, utilizzato come sede per il vicario e alloggio per soldati, andava configurandosi come caso atipico di struttura militare, con le cortine su pianta quadrangolare e torri quadrate disposte su assi diagonali: in questa soluzione le torri ad angolo, sporgendo dalle cortine, consentivano il fiancheggiamento nella difesa dall'assalto nemico.
Con l'arrivo di Napoleone, un secolo più avanti, il castello e le strutture attigue saranno cedute alla città, con l'impegno di provvedere alla loro manutenzione. Nel 1841 la proprietà passa allo Stato e due anni dopo vengono avviati i lavori di adattamento a carcere. Dal 1985 è utilizzato per servizi culturali. Dal 2016 è di proprietà comunale e si sta trasformando in agorà culturale per tutta la città.