Il Castello dei Conti di Modica è il simbolo della città. è sito sulla sommità di uno sperone roccioso ha costituito per secoli un vero e proprio monito per i nemici, una difesa naturale per la Capitale della Contea. La frammentaria documentazione finora aquisita per la rocca del Castello non consente di poter formulare un quadro insediamentale completo nel corso della storia locale. Si può ipotizzare una frequentazione di quest'area già in epoca preistorica, per la presenza di una necropoli. Successivamente assunse la funzione di fortezza del centro abitato. Prima del disastroso terremoto avvenuto nel 1693, il castello ospitava le carceri della città ed era consacrato al Sole. Dopo l'evento sismico, ma soprattutto dopo il 1779, il Castello dei Conti ha subito una massiccia ricostruzione per il progetto di edificazione della casa del Governatore della Contea. La rocca comprendeva una complessa fortificazione con presenza sia di forze armate, sia, specie dal XVI secolo, ma già in precedenza con Federico II, della residenza del Signore, oltre a cappelle, magazzini e prigioni.