Costruito dal 1717-19 da Michele III Imperiali, appartenente ad una famiglia che possedeva il feudo di Casalnuovo-Manduria dal 1572. Nel 1827 passò alla famiglia Filotico che tuttora vi risiede. Il palazzo,chiamato "il castello", in quanto edificato sul sito di un maniero normanno, è a pianta quadrata secondo uno schema classico. L’austera facciata con la lunga balconata in ferro lavorato "a petto doca" -unica concessione al gusto rococò del tempo- riqualifica il Borgo di “Porta Grande”, sorto al di fuori della cerchia muraria.