L'esistenza delle prigioni a Loreo è testimoniata da un documento del 1537, nel quale la Repubblica di Venezia chiede al podestà di destinare alcuni galeotti alla formazione dell'equipaggio di una galea.
L'aspetto dell'edificio è massiccio e singolare, debolmente inclinato su di un lato determinando una particolare sensazione di straniamento a chi sale le scale interne e cammina nelle varie celle.