Proprietà della famiglia Bartolini, fu realizzato tra il XV ed il XVI sec., per volere di Bartolomeo, abbreviatore apostolico e segretario dei duchi di Urbino, acquistando e unendo in un unico complesso varie case medievali. I lavori furono eseguiti dai maestri lombardi, Giovanni Melchiorri e Domenico di Antonio. Presenta un finissimo portale tipicamente rinascimentale ed un fregio della trabeazione che circonda due lati del palazzo e che ospita una dedica a Guidobaldo da Montefeltro. Nel corso del ‘500 la famiglia Bartolini si estinse e quasi tutto il patrimonio di famiglia passò ai Conti della Porta: il palazzo fu ereditato dal conte Giulio. Nell' Ottocento il Palazzo custodiva una ricca collezione di opere d'arte elencate dallo storico Lucarelli; tra queste "La Maddalena" di Pietro da Cortona, "Il Presepe" del Pomarancio, "Due piccole battaglie" di Salvator Rosa, "La Vergine con velo bianco in testa" del Sassoferrato, un "Ritratto" di Tiziano, un bozzetto in bronzo di Donatello.