Secondo la tradizione,il monastero venne fondato nei primi anni dell'XI secolo dal normanno Goffredo Siniscalco, figlio di Sindolfo.La costruzione della chiesetta romanica è coeva con il monastero, come dimostra l'impianto romanico della pianta.Il monastero venne affidato ai monaci benedettini dell'abbazia della Santissima Trinità di Cava de Tirreni e vi rimasero fino al 1427.I monaci vennero tormentati da continui attacchi di pirati saraceni,i quali distrussero più volte le mura del monastero.Anche a causa della minaccia delle incursioni, i benedettini lo abbandonarono e vi subentrarono i francescani osservanti.Tra le numerose incursioni piratesche, senza dubbio la più celebre è quella del 3 maggio 1480, quando venne rubato dai pirati un Crocifisso ligneo: una volta mutilato il naso del Cristo, questo prese a sanguinare e venne gettato in mare. L'evento è ricordato ogni 3 maggio attraverso una processione di barche che giunge sino al porto dove riceve la solenne benedizione.