La Villa venne costruita alla fine del sec. XVII dai fratelli Donato e Salvatore Veneziani, che ampliarono una precedente costruzione rurale all’interno di una loro vasta tenuta, sita poco lontano dal centro urbano di Bisceglie al bivio tra la via vecchia di Corato e la via di Andria, in contrada detta “la Tufara” per la presenza di molte cave di tufo sotterranee. Il luogo era anche chiamato “la Madonna del Rifugio” per l’esistenza di una immagine votiva a pittura della Madonna col Bambino, posta in piccola edicola che si trovava alla confluenza delle due strade. Con la costruzione della Chiesa annessa alla villa il dipinto della Vergine del Rifugio, ritenuto miracoloso, venne staccato dal sito originario e trasferito in essa. Alla villa era annesso anche un grande “Giardino dei Citrangoli” (agrumi) diviso in quattro appezzamenti quadrati mediante un viale, con un bellissimo pergolato sostenuto da colonne.