Il Castello del Monte della Rocca venne eretto per volere della famiglia Frangipane, che assediò il territorio diTolfa nel XIV secolo d.C.. Si tratta di una fortezza di perimetro poligonale sostenuto da grosse e potenti mura difensive, la quale ha offerto protezione e difesa per secoli e secoli. Nel 1799 la Tolfa, a seguito della rivolta contro la Repubblica Romana, repressa dalle truppe francesi, fu saccheggiata e i resti della rocca, che avevano costituito l'estremo baluardo dei ribelli, furono ulteriormente danneggiati. E' proprio nell'avvenimento dell'assedio francese che si colloca la leggenda della "vecchietta" di nome Lizzera che compare nello stemma comunale: "...al castello merlato di tre torri, al naturale, accompagnato da una figura di vecchia poggiata ad un bastone, conducente un vitello...." Dunque la Rocca non è semplicemente un rudere, bensì è stato, ed è tutt'ora il simbolo di Tolfa e del suo popolo.