Il palazzo venne costruito nel 1753 da Benedetto Valperga di Barone. Le volte e pareti vennero decorate dai Cignaroli e restaurate successivamente da Carlo Ronchino.
Nel 1799 fu devastato dalle orde della Massa Cristiana guidata dal famigerato Brandalucioni, essendo l’abate Ignazio Valperga di Barone esponente di spicco dei Giacobini in Caluso, ma l’anno dopo venne restaurato.
Fra 1820 e il 1832 il palazzo ospitò il Collegio-convitto (Ginnasio) fino a quando la scuola venne trasferita nella sua sede attuale (Convento dei Frati Francescani).E' divenuto asilo infantile nel 1870