La "Torre di Punta La Guardia", sita nel casale di Seiano, è menzionata per la prima volta in una lettera che Carlo I d’Angiò, il 19 aprile del 1277, indirizzava al Giustiziere del Principato per richiedere la vigilanza delle coste contro le invasioni piratesche.
Negli stessi anni Carlo d'Angiò fece costruire, sul costone roccioso, il suo poderoso castello che era in collegamento visivo con la torre di Punta la Guardia e le altre case torri sparse sul territorio.