A nord dell’abitato, ai confini fra Lerma, Silvano e Castelletto d’Orba, rimangono i ruderi della Torre dell’Albarola. Faceva parte di un sistema difensivo di avvistamento creato contro le incursioni dei saraceni attorno all’anno mille. Il suo compito era di riprendere i segnali provenienti dal monte Colma e, con falò accesi sulla cima, avvisare la vicina torre del Gazzolo (s. Cristoforo), che avrebbe inviato l’allarme alla pianura. Chi sale alla torre si rende subito conto della ragione di quella collocazione: di lassù la vista spazia dalla valle del Piota a tutto l’arco appenninico, e poi ancora giù verso le colline fino alla Pianura Padana. La tradizione vuole che, in seguito, abbia avuto funzione di campanile per Santa Maria in Prelio, cioè per la Pieve di Silvano d’Orba, in quanto è situata su un colle posto ad oriente della stessa. Verso la fine del secolo XVII presso l’Albarola venne costruita l’abbazia di san Filippo Neri, dalla quale deriva il nome dell'odierna cascina Abbazia