Agli inizi del Seicento il clero di Fasano donò ai Frati minori osservanti un orto dove con autorizzazione di papa Clemente VIII venne edificato, per munificenza delle famiglie benestanti della città, un convento per 12 frati. Assieme al convento fu edificata anche una cappella dedicata alla santa Vergine Immacolata, da cui sorse anche una omonima confraternita. Successivamente al convento venne edificato il chiostro decorato da affreschi con i Fioretti di san Francesco, quindi una nuova ala, adibita a scuola elementare e scuola per la preparazione agli studi superiori, ed infine una foresteria. Nel 1753 venne ultimato l'ampliamento della chiesa e questa venne consacrata Alla fine dell'Ottocento la chiesa subì un crollo al termine dei lavori, che durarono due anni, il convento aveva cessato la propria attività, in seguito alle soppressioni degli ordini religiosi nel Regno d'Italia: gli edifici del convento furono riutilizzati come scuola elementare, fino al 1927 mentre la chiesa, oggi intitolata a Sant'Antonio Abate, divenne proprietà della confraternita dell'Immacolata.