Nel 1878 il Conte Paolo Ballada di Saint Robert venne ad abitare a Castagnole delle Lanze. Qui acquistò la casa del “castello” ed il piccolo colle adiacente, che ripopolò di piante e di fiori e dove fece costruire la torre. Dopo pochi anni, però, il Conte Ballada cominciò a stare poco bene e decise di vendere tutti i suoi beni al Comune di Castagnole delle Lanze. Il contratto venne stipulato nel 1884 ed il Conte, essendosi affezionato al paese e volendo lasciare un buon ricordo di sé, si accontentò di “un’annua pensione vitalizia”. Sempre nel 1884 si trasferì a Torino, dove morì nel 1888. Dai nostri avi fu soprannominato “l cunt di babi” per la sua passione per la raccolta, lo studio e la conservazione dei più svariati insetti (“babi”, in piemontese).
Oggi il Parco in cui si trove la torre è sede di un percorso museale dedicato al Conte e alle sue passioni.