La chiesa è costituita da una cavità naturale, cui si accede per mezzo di una lunga scalinata che ha inizio al di là del muro perimetrale, unica testimonianza di una chiesa rimasta incompiuta, che ne protegge l'accesso. La realizzazione dell’antica chiesa rupestre della Madonna della Grotta, di origine semi-antropica, risale presumibilmente al XVII secolo. La chiesa non fu mai terminata nelle coperture. Il suo nucleo originario è costituito da una cavità carsica ampliata dall’uomo in epoche successive. Ad oggi, la chiesetta originaria si trova a circa nove metri al di sotto del piano di calpestio. L'edificio si articola su due livelli e affaccia su un piccolo sagrato, al quale si accede da una ripida scala costruita solo nel secondo dopoguerra. La chiesa superiore si compone di una navata unica affianca da tre cappelle per lato. Solo tre delle sei cappelle hanno volta a botte. La chiesa inferiore, invece, è formata da un primo vano semi-interrato, nel quale affacciano due matronei e dalla cavità naturale. Nella grotta, davanti a un basso cunicolo naturale, si trova un altare del Settecento, edificato attorno a un affresco più antico raffigurante una Madonna. Secondo la leggenda, l’immagine sarebbe stata scoperta da una pastorella all'interno di una grotta naturale, nella quale ardeva una lucerna. All'interno, si trova un recente presepe in pietra calcarea realizzato da Angelo Calcagnini. In estate l'edificio viene utilizzato come arena all'aperto dall'Assessorato alla Cultura e al Turismo nell'ambito della rassegna dell'Apulia Film Commission.