Nel periodo longobardo a Sillico vennero costruite alcune strutture difensive in parte ancora visibili e visitabili: si tratta di quello che oggi è il campanile della chiesa, costruito nel secolo XII come torre di avvistamento. Fu anche costruita una torre difensiva nella parte più alta del paese che successivamente, nella prima metà del XV secolo, fu inglobata in una torre più grande e possente per volere degli estensi dopo pochi anni dal passaggio di Sillico a quella signoria. La roccaforte difensiva di Sillico serviva infatti per proteggersi dalle incursioni dei lucchesi che erano rimasti presenti nel paese di Castiglione.