Il centro storico di San Felice Circeo occupa una porzione rocciosa di 150 x 200 m circa a lato del monte, su un’altitudine di circa 98 m s.l.m. L’aspetto del paese è prevalentemente ottocentesco, senza considerare il palazzo baronale di impronta cinque-seicentesca, il tutto sviluppato attorno alla rocca medioevale, che ricalca direttamente l’antico insediamento romano di Circeii, con un perimetro più o meno rettangolare e strade ortogonali all’interno.