I conti Lattanzi per avere una residenza degna del loro aumentato prestigio demolirono due edifici posti di fronte al palazzo del Monte di Pietà e vi costruirono il loro, terminato nel 1734. Esso rappresenta il primo esempio di palazzo con mattoni a vista in tutte le facciate comprese le colonne. L'ampio portale permetteva di entrare in cortile con la carrozza. Gli appartamenti nobili sono caratterizzati da soffitti riccamente decorati con vari motivi a stucco, hanno finestre e porte dipinti a mano, portali in marmo, pavimenti in mattoni o in marmi, camini in marmo. Anche palazzo Lattanzi conserva al primo piano un pregevole oratorio privato di forma ottagonale. Lo stacco fra l'edificio del Monte di Pietà e questo dei Lattanzi non può essere più evidente per comprendere i cambiamenti dell'architettura, della moda del costruire chiese e palazzi.