Il palazzo che porta questo nome fu costruito intorno al 1560 da Francesco Seta, nobile di Mondavio residente da tempo a Fossombrone, dove esercitava l'attività finanziaria. L'edificio è in ordine cronologico il terzo a bugnato che fu costruito lungo il Corso e sicuramente il più imponente con la facciata ricoperta da ben 1750 bugne, ognuna delle quattro colonne ne ha addirittura 100. Il palazzo passò poi ai Rufo e ai Cottabeni, ma per ragioni non del tutto chiarite venne espropriato assieme con il prestigioso mobilio e i 110 quadri dal Duca Francesco Maria II Della Rovere che lo donò al Comune di Fossombrone. Questi, per realizzare le nuova mura cittadine, lo rivendette per 4.600 scudi al locale Monte di Pietà e la facciata ne conserva l'emblema. Il palazzo è attualmente proprietà della Fondazione del Monte di Pietà.