La costruzione di un seminario nell'area occupata da un cimitero settecentesco, risale alla prima metà dell'Ottocento, quando Gaetano Gherardi avviò la realizzazione della chiesa di Sant'Andrea; i lavori, interessarono anche il peristilio dell'antico cimitero, attorno al quale sorse il complesso del seminario, la cui facciata fu posta in asse col campanile della suddetta chiesa.Il complesso fu inaugurato sul finire del 1851 alla presenza del vescovo Girolamo Gavi. Nel 1857 fu visitato da papa Pio IX.Il Museo diocesano Leonello Barsotti è un museo d'arte sacra di Livorno, sono conservate diverse opere d'arte di proprietà della Diocesi di Livorno, come un ostensorio risalente al 1692 in argento e metallo dorato, pregiate vesti liturgiche realizzate da importanti manifatture attive tra il XVII e XIX secolo, una raccolta di numerosi ex voto e un tabernacolo portatile donato all'inizio del XVII secolo dal XVII secolo dal granduca Ferdinando I de' Medici per il Duomo cittadino.