Nel 1366 la famiglia pesciatina dei Garzoni, che sarebbe poi entrata a far parte del patriziato lucchese, acquistava in questo luogo un fortilizio, usandolo come residenza familiare. La prima menzione della villa risale al 1633 quando Romano Garzoni firmò un progetto per un palazzo molto vicino nelle dimensioni a quello odierno, mentre il giardino era molto più ridotto. Fu nel 1652 che il giardino venne ingrandito e dotato di terrazzamenti (visto il forte pendio) in stile all'italiana, con scalinate, statue e fontane.
Celebrato da poeti come Francesco Sbarra, il giardino e la villa videro aumentare la sua fama ed ebbero ospiti illustri gli arciduchi Ferdinando d'Austria e Anna de' Medici (come ricorda una lapide vicina all'ingresso) o, più tardi, pare Napoleone Bonaparte. All'inizio del Settecento vi lavorò Filippo Juvarra.
Nel 1793 sempre su iniziativa di un altro Romano Garzoni, grazie a un progetto dell'architetto lucchese Ottaviano Diodati il giardino venne dotato del sistema idraulico che ancora oggi permette i giochi d'acqua, rendendolo ancora più spettacolare.
Nel 1871 la proprietà passò al senatore Giuseppe Garzoni Venturi, poi alle sue figlie, le quali la cedettero poi negli anni trenta ai conti Gardi dell'Ardenghesca, che recentemente l'hanno alienata. La villa è rivolta a sud ed ha quattro piani a valle e tre a monte, a causa del dislivello. La struttura è posta in posizione elevata rispetto al paesaggio circostante ed è caratterizzata da un raro equilibrio tra la solidità dell'edificio e la leggerezza della decorazione rococò, che sembra darle un aspetto di irreale inconsistenza. Due rampe a gradoni, che accentuano l'effetto scenografico, la collegano al giardino posto di fianco.
Il primo piano è l'unico visitabile e vi si accede da una scala in pietra circondata da affreschi illusionistici. Al termine dello scalone inizia una lunga galleria decorata da stucchi e dipinti, sulla quale si aprono le varie stanze: la camera da letto della damigella (con baldacchino e drapperie in seta), la biblioteca (in stile impero), la camera rossa o di Napoleone, la sala da pranzo (con arredi del Settecento francese e quadri del Correggio), il salone da ballo e altre salette e camere da letto.
Oltre il portico e il cortile d'entrata si trova la palazzina d'estate di colore rosso vivo, progettata da Filippo Juvarra, che può considerarsi una delle più rilevanti espressioni di architettura barocca in Toscana.