L'antico castello di Ormea pare sia sorto intorno al X secolo e da quell'epoca ha segnato la storia del borgo. Come tutti i primi insediamenti occupava la zona che offriva maggiori possibilità di difesa. La montagnola rocciosa che si stacca dalle ultime falde del monte Antorotto era infatti ideale per dominare tutta la valle del Tanaro ed era quasi inespugnabile. Dal castello era possibile bloccare il passaggio alle popolazioni liguri confinanti qualora avessero tentato di invadere la valle per raggiungere la pianura; questo fu il principale scopo di tutti i vari possessori del baluardo che cercavano in ogni modo di arginare le continue incursioni dei nemici. In un primo tempo era costituito da una piccola cerchia di mura che circondava una preesistente alta torre cilindrica. Con la cessione del territorio ai marchesi di Ceva iniziò l'ampliamento della fortezza. Il marchese Giorgio Il detto il "nano" e Garcilasco furono i maggiori artefici del suo sviluppo: il "nano" nel 1296 incluse il castello al borgo con una seconda e vasta cerchia di mura; nel 1538 Garcilasco lo rafforzò aggiungendo altri bastioni e torrioni. Nel 1625 fu acquistato dal Principe Maurizio di Savoia che lo completò con la costruzione di 3 baluardi: uno a ponente, uno a mezzogiorno e l'altro a levante, tutti con ampie feritoie per l'uso delle bocche da fuoco. La costruzione era una fortezza e con ogni probabilità non venne mai abitata dai signori dei luogo; si pensa infatti che essi risiedessero nella casa di via Tanaro. Il castello fu smatellato nel 1795 quando l'esercito francese lo distrusse a forza di mine provocando danni anche alle case sottostanti. Negli ultimi mesi del 1794 continuava l'occupazione di Ormea. Il generale Mollis, che aveva preso possesso del borgo...... iniziò ad abbattere il castello a forza di mine. Incendiò inoltre la chiesa parrocchiale provocando ingenti danni in quanto andarono in fumo il pulpito, i banchi e tutti gli arredi sacri. Attualmente rimangono i suoi ruderi, ricoperti dal verde dei pini, a sovrastare la città ricordandoci i suoi otto secoli di storia. (Dal libro "Ormea piccola patria" di Sandro Pelazza).