La Biblioteca venne realizzata grazie alla donazione testamentaria al Seminario Vescovile di Nardò dell'ingente patrimonio librario dello stesso Vergari che volle creare nella sua città una biblioteca di carattere scirntifico. Nel 1885 il Vescovo rinunciò all'amministrazione della biblioteca che passò, per volere degli eredi, al Comune di Nardò. Alla donazione iniziale furono aggiunti molti volumi provenienti dalle biblioteche dei Conventi dei Francescani e dei Domenicani.
Oggi la biblioteca possiede un patrimonio di circa 20.000 volumi; tra questi si conservano sei incunaboli del '400, 462 rare cinquecentine, 1.308 opere rare del '600 e 2.200 del '700. Si tratta di opere significative di carattere scientifico, filosofico e teologico in linea con la volontà del suo fondatore.