In posizione di dominio sulla città, il Castello vanta origini antichissime ed una storia avvincente. Nato attorno al XI-XII secolo come sede della potente famiglia dei Conti de Ceccano, dopo loro scomparsa verso la metà del XV secolo, divenne proprietà di altre famiglie nobili, tra cui i Caetani ed i Colonna. Con quest'ultima famiglia venne convertito progressivamente in carcere, aperto fino al 1973. Attualmente il castello è di proprietà comunale, è stato parzialmente restaurato ed è visitabile nei fine settimana.
Conserva numerosi elementi della fortezza medievale e testimonianze del periodo del carcere.