Affacciato sull’antica strata magistra, il palazzo emerge alla fine del Quattrocento come un edificio eccezionale nel panorama cittadino del tempo. In quegli anni i Raimondi, ricchi commercianti di stoffe, ottengono il titolo di nobiles viri, entrando a far parte delle principali cariche pubbliche. Il progetto si deve a Bernardino de Lera, ma le iscrizioni ai lati del portale portano la data del 1496 e celebrano il ruolo del committente, Eliseo Raimondi, nell'impianto dell’intero edificio, modellato sull’esempio dell’antica architettura romana. La facciata a bugne in calcare bianco e rosa è un unicum nel cremonese e senza confronti erano anche lo scalone monumentale che saliva al piano nobile (sostituito dopo il Settecento da quello attuale) e il porticato a 18 colonne del cortile (oggi ne restano solo 8), dai raffinati capitelli firmati dal luganese Giovan Gaspare Pedone e celebrati nelle Vite dal Vasari. Eccezionalmente aperta anche la sede della Fondazione Stauffer.