Le origini del complesso risalgono al XII secolo: il San Lazzaro era destinato ad accogliere i lebbrosi, ma già a partire dalla prima metà del XVI ospita anche «invalidi, decrepiti, storpi, epilettici, sordomuti, ciechi, paralitici» e dal sec. XVIII i soli «poveri mentecatti».
Nel 1821 si trasforma in «Stabilimento Generale delle Case de' Pazzi degli Stati Estensi» e sotto la direzione del medico Antonio Galloni cresce tanto da divenire "uno dei pochi ospizi pubblici a cui ricorressero anche famiglie agiate […] per collocarvi i loro malati".
Nel 1873 il nuovo direttore Carlo Livi vuole fare del San Lazzaro un punto di riferimento non solo dell'assistenza psichiatrica, ma anche della ricerca scientifica.
La progressiva diminuzione delle presenze dei ricoverati e la promulgazione della legge 180 del 1978 determinano nel 1980 l’abbattimento delle mura di cinta del San Lazzaro. Cessati i ricoveri, la struttura chiuderà definitivamente nel 1996.