I lavori di palazzo Venieri iniziarono probabilmente nel 1473, anno nel quale Anton Giacomo Venieri divenne cardinale.
L’incarico di progettare l’edificio fu affidato all’architetto toscano Giulaino da Maiano.
Dopo la morte del cardinale e due secoli di abbandono, il palazzo fu acquistato dal conte Roberto Carradori che incaricò del restauro l’architetto Pietro Augustoni.
I più importanti lavori ebbero luogo nel 1838 in occasione delle nozze del conte Antonio carradori con la principessa Laura Simonetti.
Nel frattempo era già stata ultimata la decorazione della cappella domestica dove nel 1811 vennero collocate le spoglie di Santa Ruffina rinvenute nelle catacombe romane di Santa Priscilla, e donate nel 1805 dal papa Pio VII, ospite della famiglia dopo l’esilio francese, al conte Luigi Carradori.
Il palazzo è diventato successivamente proprietà comunale ed oggi è sede del Liceo Classico “Giacomo Leopardi”.
Santa Ruffina ha sempre protetto i giovani liceali in occasione degli esami di maturità e nelle singole interrogazioni.