’edificio venne costruito tra il 1580 e il 1585 per volontà del marchese del Vasto Cesare d’Avalos dopo aver acquistato il terreno dalla famiglia dei Pignatelli di Monteleone. Inizialmente, furono innalzati solo tre lati del palazzo, mentre la parte retrostante fu lasciata a giardino, confinante con quello dei monaci di Monteoliveto. In seguito, acquistata la parte confinante venne edificata anche la parte mancante.
In seguito, il palazzo passò al mercante fiammingo Gaspare Roomer che, trasferitosi a Napoli, lo acquisto in cambio di una villa che lui stesso aveva a Barra. Poi, nel 1652, la struttura venne acquistata da Diomede Carafa, duca di Maddaloni, e, anche in questa occasione, venne realizzato uno scambio che prevedeva il passaggio al mercante olandese delle proprietà che i nuovi proprietari avevano nei quartieri Stella e Posillipo. Così, il Carafa decise di affidarne il restauro a Cosimo Fanzago che rifece in chiave barocca la facciata, lo scalone, il loggiato e il portale. L’architetto bergamasco venne coadiuvato nella sua opera da Piero Barberis, marmoraro piperniere che lo aiutò a lavorare i marmi bianchi per il portale, e Giovan Battista Manni, decoratore che si occupò degli stucchi e degli ornati che si trovano specialmente sul lato di via Toledo.
La proprietà del palazzo rimase ai Carafa fino al 1765, quando l’erede Carlo, sommerso dai debiti, fu costretto a venderlo in parte al conte Garzilli, mentre altri ambienti vennero trasformati in uffici i quali, come ricordato da tre epigrafi poste sulla facciata, ospitarono anche la Suprema Corte di Giustizia, il sindaco di Napoli Luigi Miraglia tra il 1901 e il 1903,e lo studioso e filantropo Leopoldo Rodinò.