L’imponente sistema di grotte attraversa Palazzo Lanfranchi per tutta la larghezza in direzione E-O. Gli ambienti sotterranei scavati nella roccia fungevano da cantina, magazzini e deposito a servizio del Seminario.
Francesco da Copertino, che progettò l’edificio, fu costretto a misurarsi con molte difficoltà tra cui superare il problema della presenza di numerose cavità e adeguare l’edificio, che si voleva imponente e ‘fuori dai Sassi’, alle differenti quote dei livelli orografici del territorio.
Prima di iniziare a percorrere i trentasette alti gradini che conducono al fondo della struttura è visibile una serie di cinque nicchie e riquadrature, identificate come una preesistente chiesa rupestre e, a terra inciso nel banco tufaceo, il condotto di collegamento alla cisterna per il recupero delle acque piovane.
Durante la seconda guerra mondiale ebbe la funzione di rifugio antiaereo: sul portone del Palazzo è ancora presente la sirena.