I Padri Celestini acquistarono i feudi di Carmiano e Magliano nel 1448 e qui esercitarono la propria signoria per quasi quattro secoli; si insediarono nell'immediata periferia del casale, lungo la cosiddetta via dell’Osanna, un luogo strategico e di collegamento con la città di Lecce. Qui costruirono il palazzo baronale che, secondo alcune fonti, venne ampliato e ristrutturato a partire da un edificio preesistente. Il palazzo venne realizzato in varie epoche e il nucleo più antico risale alla prima metà del XIV secolo. Articolato in piano terra e primo piano, presenta un maestoso prospetto movimentato da porte e finestre e da un ampio portale affiancato da due nicchie e sormontato dallo stemma della Santa Croce, simbolo dell'ordine dei Celestini. Le statue che affiancano il portale raffigurano le due virtù celestiniane dell’Umiltà e della Sapienza e, sebbene si trovino in uno stato di avanzato degrado, presentano delle somiglianze con le omonime statue che ornano la facciata della chiesa di Santa Croce a Lecce. Questo elemento, insieme a delle coincidenze cronologiche, ha fatto supporre agli studiosi che le due statue siano state realizzate da Giuseppe Zimbalo, il famoso architetto del barocco leccese, il quale risiedette a Carmiano a partire dagli anni cinquanta del ‘600. Egli si trovò a lavorare al servizio dei Padri Celestini e certamente frequentò il cenacolo culturale del palazzo baronale di Carmiano. All'interno dell’edificio troviamo anche una cappella, dedicata a San Donato, ormai spoglia del corredo religioso ma ricca ancora di un altare fregiato da stucchi e marmi di vario colore. Nell'atrio del Palazzo è presente un affresco che rappresenta la glorificazione dell’ordine Benedettino e in una sala adiacente alla chiesa compare sul muro un affresco di Madonna col Bambino che sovrasta un’apertura ad un piano interrato. Il chiostro è dominato da un pozzo ornato da quattro colonne sormontate ciascuna da un capitello ionico; al di sopra dei capitelli è posizionata una balaustra scanalata in pietra leccese. Un tempo il pozzo era ornato anche da un basamento superiore su cui compariva lo stemma della Santa Croce, oggi non più fruibile a causa di un furto avvenuto nel 1991. Il piano superiore del Palazzo comprende una serie di stanze comunicanti con un ampio e luminoso salone ricoperto da stucchi eleganti che incorniciano le porte di accesso ed alcuni riquadri ormai spogli di tele. In seguito all'abolizione della feudalità e alla cacciata dei Celestini, avvenuta nel 1807, il palazzo baronale fu venduto all'asta divenendo di proprietà di privati. A patire dal 1929 lo stabile fu adibito a locale di essiccazione e di deposito di tabacco, offrendo lavoro a circa 130 persone tra tabacchine ed operai. Divenne la fabbrica più importante del paese attorno a cui ruotava gran parte della sua economia. La produzione di tabacco si interruppe nei primi anni ‘70 quando la fabbrica venne chiusa e l’edificio abbandonato. Oggi il palazzo, che è il luogo storicamente più importante della comunità di Carmiano, è di proprietà del Comune ma si trova in uno stato di totale abbandono e necessita di un intervento urgente di restauro affinché le tracce fornite della sua storia secolare non vadano perdute per sempre.