I quartieri medievali della città offrono ancora oggi una infinita varietà di suggestivi scorci. Archi e case si susseguono rincorrendosi e addossandosi, quasi a volersi proteggere reciprocamente; ampie scalinate, piazzette familiari, vie anguste racchiudono una storia umana lunga e dolorosa fatti di protagonisti silenziosi: contadini, zappatori, braccianti, gli umili della Storia che qui hanno scritto alcune tra le pagine più suggestive della vicenda cittadina. I due antichi rioni cominciarono a diventare marginali probabilmente intorno al sec. XV, in concomitanza con lo sviluppo della civitas. Nel rione Piaggio, purtroppo in quasi completo stato di abbandono, si può ammirare la chiesetta di Santa Lucia alle cui spalle, tre nicchie scavate nel tufo ricordano la presenza di una chiesa rupestre crollata, forse per cedimento naturale di terreno o per terremoto. Nel rione Fondovico domina la prima cattedrale di Gravina identificata nella chiesa-grotta di S. Michele che, circondata da un fascino misterioso e da un paesaggio carico di religiosità, è l'espressione più significativa di tutto l'habitat rupestre. Si presuppone che qui si trovasse l'immagine miracolosa della Madonna della Consolazione, che rafforza l'idea della grande venerazione della Madonna nelle locali chiese rupestri.