Legato alla Cattedrale sorge il settecentesco Palazzo Vescovile, una delle più belle e meglio conservate realizzazioni dell’architettura civile di Agrigento. L’originario palazzo vescovile, costruito nell’XI secolo dal vescovo Gerlando aveva subito nel corso dei secoli ampliamenti e modifiche: danneggiato dal terremoto del 1693, era stato subito ripristinato. Verso la metà del Settecento, su disegno dell’architetto Domenico Dolcemascolo di Sciacca, vi furono apportate varie trasformazioni, sia nel prospetto, sia nell’interno. In particolare, i balconi furono eseguiti da Diego Pennica, mentre la trasformazione dell’appartamento vescovile fu curata da Filippo Zirafa.
Splendido è il portale d'ingresso, delimitato da due colonne che fanno da piedistallo a un balcone: quest’ultimo è arricchito da un timpano triangolare aperto al centro, che contiene lo stemma del Vescovo Andrea Lucchesi. Nei primi anni dell’Ottocento fu rifatto lo scalone d’ingresso e posta, in una sua nicchia, la bella statua marmorea di Santa Maria di Monserrato della scuola di Domenico Gagini. All'interno del Palazzo, sono custoditi i ritratti dei Vescovi agrigentini.