Porto Ercole, uno dei principali approdi dell’Argentario in età classica, è oggi circondata da mura erette da Siena all’inizio del XV secolo, modificando le precedenti costruzioni degli Aldobrandeschi e degli Orsini. Qui il banchiere senese Agostino Chigi, castellano dal 1507, fa costruire un palazzo su progetto di Baldassarre Peruzzi. Nel 1544 il saccheggio dei pirati guidati dal Barbarossa spinge Siena a rinforzare la rocca. Pochi anni dopo, la cittadina cade in mano ai fiorentini e nel 1557 entra a far parte dello Stato dei Presidi di Toscana, possedimento spagnolo in maremma: Porto Ercole rifiorisce, ma con la fine dello Stato dei Presidi nel 1801 inizia il declino e il paese si spopola. Questa decadenza è mitigata dal senatore Vincenzo Ricasoli, che, utilizzando la manodopera dei carcerati delle prigioni locali dietro pagamento, trasforma le brulle colline attorno al porto in un meraviglioso orto botanico (oggi Corsini) con piante esotiche importate da tutto il mondo.