La biblioteca fu fondata ed eretta in "Opera Pia" nel 1738 da Mons. Caravadossi Vescovo di Casale Monferrato. Venne da lui riccamente dotata di beni librari e di una rendita per la sua gestione e mantenimento. La sede primitiva fu l'antico Seminario in via Palestro dove già dal 1610 venne costituito un primo nucleo di biblioteca a servizio degli studi dei seminaristi. Il decreto Napoleonico del 1805 trasferì la biblioteca alla Municipalità casalese, sino al 1807 quando, in assenza di locali dedicati, il Vescovo Villaret fece sistemare la biblioteca presso l'Oratorio di San Filippo Neri fino alla costruzione dell'attuale edifico, posto in aderenza alla manica ovest del nuovo Seminario, realizzato su disegno dell'architetto Antonio Vigna .