Campogialli nacque come uno dei castelli di proprietà della famiglia ghibellina dei Pazzi del Valdarno, imparentati con gli Ubertini, costituendosi ben presto comune autonomo data l'importanza strategica della posizione.
Lo storico Giovanni Villani racconta nelle Cronache fiorentine (XII, 30) che il castello fu attaccato dagli uomini di Castelfranco di Sopra, insieme ad alcuni alleati valdarnesi e aretini, il 29 aprile 1344;riusciti ad entrare da una delle porte grazie ad un tradimento, gli uomini di Castelfranco ne uccisero gli abitanti, tra i quali dieci facoltosi membri della casata dei Pazzi. Lo storico Scipione Ammirato, nella sua opera Istorie fiorentine (1600), non menziona l'attacco, ma scrive che «il Comune di Campogiallo si dette a 3 di maggio (1344) a'Fiorentini, come fece poi quello del Borro, e di Trojano, tutti tre castelli del contado Aretino.»
Nel diploma aretino di Carlo IV dell'anno 1356, Campogialli è ricordato come villaggio al confine dell'antico contado di Arezzo.
Nel 1551 si contavano 220 abitanti, che sono andati via via ad aumentare fino a raggiungere i 304 del 1745 e, cento anni dopo (1845), le 504 unità.