Il palazzo si impone con la sua mole lungo la via principale del borgo. Costruito nel XVI secolo dai genovesi De Ferrari, l'edificio presenta una facciata austera. Ai quattro piani sulla via corrispondono i sei piani del prospetto posteriore affacciato sull'antico giardino digradante verso il torrente Lemme e collegato alla sponda opposta con una passerella in ferro non più praticabile (XIX sec). All'interno, l'atrio è maestoso e occupa in alzato il piano terra e il piano ammezzato. Sulla parete destra diparte lo scalone principale sul quale si affaccia una nicchia affrescata. Nel salone del piano nobile (non visitabile) risalta il grande camino con lo stemma dei De Ferrari. Nell''800 il palazzo è una delle proprietà della Duchessa di Galliera, Maria Brignole-Sale De Ferrari (1811-1888). Filantropa, si deve a lei, tra l'altro, la fondazione dell'Ospedale Galliera e la nascita dei primi musei a Genova oltre all'istituzione di diverse opere assistenziali a Voltaggio.