Loano fu governata e plasmata dalla famiglia Doria che ne deciderà le sorti fino al 1770, quando la città passerà sotto il controllo dei Savoia. A seguito della convenzione (1309) tra Raffo Doria e la popolazione loanese, molte famiglie si spostarono presso la costa. Di conseguenza, i Doria decisero di costruire alla fine del XVI secolo un nuovo Palazzo più vicino al nuovo abitato e che potesse ospitare degnamente i membri della famiglia. Il Palazzo rimase proprietà privata fino al 1871, anno in cui l'Amministrazione Comunale deciderà di acquistarlo per renderlo sede comunale.
Si suppone che il progetto del Palazzo sia opera di Galeazzo Alessi (1500-1572), architetto rinomato e molto apprezzato. L'edificio è all'interno dell'antica cinta muraria e fu costruito per essere sia una comoda residenza sia una robusta fortezza.