L'ex convento dei frati minori osservanti è stato costruito nel 1587 (e terminato, probabilmente, nel 1592) a cura dei duchi Guido D'Amato e Giulia Spinelli, lungo la carrozzabile Galatone, Neviano, Aradeo in un luogo tranquillo e piacevole, ma facilmente raggiungibile dal paese. Una strada lastricata congiungeva il Palazzo Ducale con il monastero. Annesso al monastero c'era e c'è tuttora il tempio dedicato alla Madonna degli Angeli, oggi detto di Sant'Antonio per il culto particolare che i religiosi di Seclì hanno verso il Santo di Padova. Sotto il portico della chiesa si legge la seguente iscrizione:
D.O.M.
AC BEATE MARIE VIRGINI DE ANGELIS GUIDO DE AMATO ET IULIA SPINELLA CONIUGES TEMPIUM HOC A FRATIBUS MINORIBUS COLENDUM A FUNDAMENTIS EREXERUNT ANNO SALUTIS MDLXXXVII NUVEMBRIS I
che testimonia il nome della chiesa Conventuale, i nomi dei suoi committenti e l'anno di costruzione. Sotto il piccolo portico erano stati affrescati alcuni episodi miracolosi del Santo Padovano: quello della mula digiuna fatta inginocchiare davanti a Gesù Eucarestia dal Santo e l'altro riguardante la completa guarigione acquistata dal giovane, che si era reciso un piede per aver tirato un calcio alla madre, mosso dal vivo dolore della colpa commessa.
Un tempo anche l'interno della chiesa era affrescato con i prodigi più salienti compiuti da San Francesco e da Sant'Antonio, primo seguace del fraticello di Assisi. Questa notizia è confermata dalle foto rinvenute e dal frate Primaloto Coco che nel 1928 scriveva "...... anche l'interno della chiesa, abbastanza vasta, con nove altari e due cori, uno sulla porta d'ingresso e l'altro dietro l'altare maggiore, e affrescato....".
Verso il 1960, come raccontano i nostri nonni e come testimoniano le foto la chiesa è stata ristrutturata, sono stati abbattuti 6 dei 9 altari ed è stato rifatto l'altare maggiore e il pavimento che originariamente era di maiolica; sono stati cambiati anche gli arredi (lampadari, plafoniere, poltrone, ecc...).
Si racconta che molti arredi e alcune tele siano state vendute per poter completare il pagamento dei lavori. Sempre in quel periodo è stata chiusa la porta che collegava la chiesa al convento, è stato trasformato il corridoio in sacrestia ed è stato abbattuto il basamento con la croce che si trovava davanti il cortile della chiesa.
Il convento è costituito da due piani collegati da due scale: una di rappresentanza che dà sul portico e l'altra di servizio. Attraverso l'ingresso principale si entra nel chiostro di forma quadrata con al centro una cisterna di forma ottagonale. Il chiostro è circondato su ogni lato da 5 maestose colonne. Il portico è formato da voltine a crociera e, in buona parte, sui timpani sono ancora visibili, anche se sbiadite dal tempo, scene di vita francescana.
Nel 1866, a seguito della soppressione dell'ordine dei Frati Minori, le strutture del convento vengono consegnate al Comune di Seclì. Da un verbale del 1866 è possibile conoscere come avvenne la consegna al comune di Seclì "l'anno 1866 il giorno 28 dicembre nel convento dei padri minori di Seclì, noi Giovanni Orsi ricevitore dell'ufficio del registro di Nardò..... essendoci recato nel convento di Seclì vi abbiamo rinvenuto il Guardiano Bonaventura da San Vito insieme a padre Angelico da Oria, Padre Serafino da Racale, padre Vincenzo da Massafra, padre Emilio da Seclì, ai quali abbiamo intimato che in esecuzione della legge 7 luglio 1866 n. 3036 essendo stato soppresso il loro ordine, essi padri e fratelli erano espulsi da questo convento...... In seguito abbiamo invitato il sindaco di questo comune signor Giuseppe Saetta, il quale gentilmente prestatosi ha preso in consegna temporanea il locale non solo di questo monastero ma pur anche i giardini annessi, gli arredi sacri, statue, mobili di chiesa, ecc. ecc....".