All’interno del palazzo si conserva una lastra marmorea che riproduce a bassorilievo lo stemma dei Serughi - d’oro, alla banda d’azzurro, caricato di tre rose d’argento, accompagnato in capo da un’aquila di nero, coronato dello stesso, ed in punta da un orso passante al naturale - e documenta l’anno di edificazione della DOMUS QUIETIS BARTOLOMEI SERUGHONIS ET EREDUM SUORUM MDLXXVI, ossia il 1576. Stando all’iscrizione, a partire da Bartolomeo la nobile famiglia Serughi, che “diede alla città uomini insigni per il valore delle armi e per le cariche”, abitò il palazzo sulle cui vestigia cinquecentesche, visibili nel restaurato pianterreno, si innestano più recenti strutture, esito degli interventi del 1802, su progetto dell’arch. Ruffillo Righini, e del 1828, cui si deve il rigore degli odierni fronti esterni. L’interno risente delle importanti trasformazioni attuate nel 1927-1928 e 1964-1973, ad opera degli ing. Leonida Emilio Rosetti e Luciano Ravaglia.