Il primo plesso del Palazzo, attuale sede dell’Accademia di Belle Arti, venne fondato nel 1727 dal sacerdote Nicolò Filippone quale infermeria del Ritiro delle Figlie della Carità, che a sua volta inglobava il seicentesco portale bugnato visibile nell’adiacente via Filippone. Agli inizi dell’Ottocento Giovanni Fernandez, da cui il palazzo prende il nome, acquistò l’area su cui insiste.