Il palazzo, detto "dei Visacci" per i ritratti di illustri fiorentini scolpiti in facciata, risale alla prima metà del Cinquecento, quando Baccio Valori il Giovane ampliò la quattrocentesca dimora di Rinaldo degli Albizi e fece ridisegnare il prospetto dall'architetto e scultore Giovanni Battista Caccini. Successivi lavori di ampliamento e decorazione si ebbero nel 1687 e nel 1727 quando la proprietà passò prima ai Guicciardini e poi agli Altoviti. Dal 1978 il piano nobile è sede della loggia massonica fiorentina del Grande Oriente d'Italia.