Il progetto di Forte Teglia fu avviato da Napoleone nel 1814 su progetto dell'ingegner Ponticelli allinterno di un progetto di ripopolamento. Il progetto rimase incompiuto, ma nel fosso scavato per isolare il forte, furono gettate le fondamenta della caserma costruita poi dal Granduca di Toscana. Quando lisola fu adibita a colonia penale, l'edificio divenne una caserma per la guarnigione militare. Il forte vive quindi con il carcere, e negli anni 50 arriva ad ospitare una pista da ballo improvvisata dove le mogli dei secondini e gli impiegati del penitenziario scacciarono i cattivi presagi abbandonandosi al "bughi bughi" della rinascita. Nel 1986 Madre Teresa di Calcutta, di passaggio in visita al carcere, fece istallare qui una statua della Vergine Maria visibile ancor oggi. Con la chiusura del carcere il forte, come tutta lisola, venne abbandonato e destinato ad un triste degrado.