Palazzo Pamphilj fu costruito tra il 1708 ed il 1717 dal cardinale Benedetto Pamphilj in sostituzione di alcuni casini di campagna risalenti alla seconda metà del Seicento situati alla sommità del tridente di Albano, una nuova espansione urbanistica della città concepita alla metà del Seicento dal cardinale Fabrizio Savelli, abate commendatario della chiesa di San Paolo. Il palazzo divenne proprietà dei padri Scolopi del Collegio Nazareno di Roma nel 1764, e fu adibito a residenza estiva degli alunni del collegio fino al 1944, quando fu destinato al ricovero di 52 famiglie sfollate di guerra. Da lì il declino lento e terribile. Attualmente tutti i locali della struttura versano nel degrado e nell'incuria più totale, nonostante sia stato addotto come esempio illuminante di fabbrica patrizia e di cantiere di ricostruzione settecentesco in un dettagliato studio di Marco Silvestri ed Enzo D'Ambrosio per l'accademia degli Incolti del 1988.