Il palazzo acquisì l’aspetto attuale all’inizio del XVII secolo, quando la famiglia Viviani edificò la propria dimora unendo proprietà diverse. Di questa famiglia fa parte Pirro Viviani, morto adolescente, ricordato da Giovanni Pascoli nel componimento poetico “L’aquilone”. Nel palazzo è presente una galleria dove figurano tele di scuole diverse; un'interessante collezione di disegni viene donata nel 1922 alla Galleria Nazionale di Palazzo Ducale, fra cui alcuni studi del Barocci.