La presenza dei Padri Liguorini ad Agrigento è strettamente legata alla figura del Vescovo Andrea Lucchesi Palli. Infatti fu proprio il Lucchesi ad invitarli in città nel 1761 perchè lo aiutassero nell'opera di ammaestramento del popolo, grazie alla loro fama di valenti predicatori. Ad essi affidò poi la sua Biblioteca, in qualità di bibliotecari e per l'erezone di una nuova Casa donò il terreno adiacente al Palazzo Vescovile, con i ruderi dell'antico castello arabo. All'interno della Casa fu costruita una chiesa, completata nel 1854, dedicata a Sant'Alfonso, abbellita da pregevoli tele del Patricolo. Nel 2011 con il restauro della Casa avvenuto grazie ai finanziamneti della Protezione Civile Nazionale è stato possibile realizzare un piccolo Museo con una pinacoteca e pregevoli argenti.