Il Castello di San Fabiano è caratterizzato dalla potente Torre del 1200 che in epoca medievale faceva parte di un sistema di Torri di segnalazione tra il primo avamposto della Repubblica senese, Radicofani, e la Torre del Mangia nel centro di Siena. Per la sua posizione lungo la via Francigena e la presenza della piccola e incantevole Chiesa con l'abside del IX secolo e la facciata del 1700, dedicata a San Fabiano, Papa e martire, ha rappresentato per i pellegrini una sosta di riposo per il corpo e per lo spirito che si perpetua ancora ai giorni nostri. Nei secoli, al nucleo originario, vennero aggiunti ampliamenti che ne fecero assumere l'aspetto attuale di piccolo borgo con fattoria fortificata. Poco distante il fiume Arbia, cantato da Dante nella Divina Commedia a ricordo della battaglia di Montaperti: ...lo strazio e'l grande scempio che fece l'Arbia colorata in rosso...