Il legame tra la famiglia Della Gherardesca e questo territorio, conosciuto con il nome di Maremma livornese, risale a molti secoli fa: già nel 754, il nobile longobardo Wilfrid, poi divenuto santo San Walfredo, capostipite della famiglia Della Gherardesca, aveva moltissimi possedimenti in Maremma e quando decise di farsi monaco benedettino e fondare il Monastero di San Pietro in Palazzuolo, a Monteverdi Marittimo, donò quelle sue proprietà al monastero medesimo; tra queste erano compresi Castagneto e altri territori limitrofi. Intorno al Castello si è sviluppato il centro urbano, secondo uno schema di anelli concentrici che danno vita ad un sistema di strade, vicoli e piazzette. Il castello ebbe, nella sua lunga storia, numerose modificazioni e rifacimenti, al pari della chiesa parrocchiale, a lungo utilizzata come chiesa del castello.