Scalea da nord era protetta dalla torre di guardia del castello, conosciuta come Torre di Giuda. All'inizio del XVII secolo il guardiano della torre non avvertì il castello della presenza dei saraceni. I nemici attaccarono Scalea, che colta impreparata fu presa. Scalea, dopo aver subito il saccheggio riuscì a respingere i saraceni. Dopo la battaglia il guardiano traditore, cercato e preso, fu impiccato ad un albero. Da allora la torre di guardia del castello fu detta Torre di Giuda. Questa però è la versione popolare. Gli storici danno altre spiegazioni sul nome della Torre. Alcuni sostengono che la torre fu detta di Giuda perché era vicino al ghetto degli Ebrei. Le torri di guardia all'epoca, venivano erette per motivi di difesa. Dalla Torre dovevano essere facili gli avvistamenti e la comunicazione con il Castello: da essa si dominava la baia, mentre dal Castello si sentiva distintamente la voce di chi parlava vicino ad un muro della Torre e dalla Torre si sentiva la voce di chi parlava dalla torre d'angolo nord del Castello.