Le prime notizie relative a Castel Sant'Elmo risalgono al 1275. Nel 1329 Roberto d'Angiò affida l'incarico del suo ampliamento allo scultore e architetto senese Tino di Camaino che trasforma l'edificio in un vero e proprio palatium per il re e per la corte, a pianta quadrilatera, con due torri; nel 1348 viene definito nei documenti come castrum Sancti Erasmi, per la presenza in quel luogo di una cappella dedicata a Sant'Erasmo.
Nel 1456 un terremoto ne provoca il crollo delle torri e di alcune cortine murarie con relativi interventi di restauro a cura degli Aragonesi. Durante il viceregno spagnolo (1504-1707) il castello, chiamato Sant'Ermo e poi Sant'Elmo, forse per la corruzione del nome Erasmo, viene trasformato in fortezza difensiva per volere di Don Pedro de Toledo (viceré dal 1532 al 1553) e il progetto affidato a Pedro Luis Escrivà, ingegnere militare di Valencia. La costruzione dell'edificio nell'attuale configurazione, a pianta stellare, inizia nel 1537 e nel 1538 viene posta sul portale di ingresso l'epigrafe, sormontata dallo stemma di Carlo V con l'aquila bicipite asburgica.
Nel 1547 Pietro Prato costruisce la chiesa, distrutta nel 1587 da un fulmine con gli alloggi militari e la palazzina del castellano. Tra il 1599 ed il 1610 il castello è interessato da lavori di restauro, opera di Domenico Fontana, nel cui ambito viene riedificata la chiesa all'interno del piazzale, la dimora del castellano e il ponte levatoio.
Dal 1860, allontanatosi l'ultimo presidio borbonico, Castel Sant'Elmo è stato adibito a carcere militare fino al 1952. Successivamente la fortezza è passata al demanio militare fino al 1976, anno in cui ha avuto inizio un imponente intervento di restauro ad opera del Provveditorato alle Opere Pubbliche della Campania. I lavori, durati sette anni, hanno reso possibile il recupero dell'originaria struttura, rendendo visibili gli antichi percorsi, i camminamenti di ronda e gli ambienti sotterranei.
Nel 1982 il complesso monumentale è stato dato in consegna alla Soprintendenza per Beni Artistici e Storici di Napoli, che ha proseguito importanti lavori di restauro, recuperando nuovi e moderni spazi espositivi.
Solo dagli inizi degli anni Ottanta si può affermare che Castel Sant'Elmo sia entrato a far parte a pieno titolo della vita di Napoli, avendo costituito fino allora l'emergenza monumentale più espressiva, ma anche più estranea alla sua vicenda sociale e culturale.
Dapprima cittadella delle truppe, poi carcere militare, l'immenso complesso è rimasto per secoli un corpo sostanzialmente estraneo allo sviluppo civile fino a che è diventato sede diniziative espositive e manifestazioni culturali che ne hanno modificato la vocazione e, di conseguenza, il ruolo urbanistico. La scommessa è stata colmare la 'distanza' dalla città e inventare un ruolo diverso per questo monumento. Il castello si propone come un centro polifunzionale rivolto ad ampliare sia il mondo della cultura grazie alla ricca fototeca e alla biblioteca di storia dell'arte "Bruno Molajoli", che quello dello spettacolo, con un auditorium che accoglie convegni, concerti, rappresentazioni teatrali e cinematografiche.
Dopo essere stato aperto per la Mostra dell'Antiquariato (1989) ha ospitato quella dedicata alla Aeropittura (1989), cui sono seguite moltissime altre esposizioni, tra cui spiccano All'ombra del Vesuvio (1990), Jusepe de Ribera (1993), Luca Giordano (2001), Gauguin e la Bretagna (2003), Gaspare Traversi (2003), quelle dedicate all'arte contemporanea a partire da Fuori dall'ombra (1991) e di Comicon, dedicate al fumetto.
Nel corso di questi ultimi venti anni la vocazione del complesso monumentale di Sant'Elmo si è andata focalizzando intorno ad un ruolo culturale e dialettico dalle vaste implicazioni e alla consapevolezza che, attraverso il dialogo tra le varie arti, discipline e culture, la Soprintendenza ha la possibilità di incanalare le iniziative verso un obiettivo di dialogo e di pace tra i popoli del mediterraneo.