Il comune deve il nome all'isolotto che gli sta di fronte chiamato appunto Isola delle femmine. Diverse leggende hanno subito il fascino esercitato dalla torre ormai in gran
parte diroccata che sovrasta l'isolotto. Quella più conosciuta considera erroneamente la torre come prigione per sole donne.
In realtà il nome italiano di Isola delle femmine è uno di quei casi in cui il processo di italianizzazione ha trasposto negli annali un toponimo erroneo, assunto sulla base di
considerazioni sommarie e semplificatorie della fonologia e della semantica siciliane. In precedenza, l'antico nome dell'isolotto sarebbe stato infatti "ìsula [di] Fimi", volgarizzazione siciliana derivante da un supposto precedente latino di insula Euphemi, dal nome del generale Eufemio da Messina, governatore bizantino della Sicilia.
La fonologia siciliana risponde con coerenza ad un'aferesi di questo tipo, che rispetto a Eufimu predilige il più semplice Fimu (o Fimi). L'errore quindi avrebbe trasportato l'iniziale Fimi siciliano in un successivo e, italianamente, maggiormente intelligibile fìmmini, che in
siciliano viene correntemente usato per riferirsi alle donne.
Sia la torre sulla terraferma, detta Torre di dentro, sia quella sull'isolotto, detta Torre di fuori, facevano parte del sistema di avviso delle Torri costiere della Sicilia.
Attualmente l'isola è una riserva naturale orientata (vedi: Riserva naturale orientata Isola delle Femmine) gestita dalla LIPU.