Di origine seicentesca, l’edificio, compiuto dalla famiglia Olivieri nel XVIII secolo, fu poi degli Almerici e dei Mamiani. Nel 1884 fu acquistato dal Comune e dal 1892 è sede della Biblioteca Oliveriana e del Museo Archeologico Oliveriano.
L’elegante facciata su via Mazza è caratterizzata dall'imponente portale secentesco e dalla geometrica successione delle grandi finestre.