Eretta già al tempo di Gentile I (XIII sec.), la Rocca d'Ajello era costituita da due torri di avvistamento collegate mediante una galleria. Giovanni di Berardo da Varano (1377) trasformò la fortezza di Ajello in una rocca vera e propria, inglobando i più antichi corpi di fabbrica delle torri in una struttura complessa. Giulio Cesare Varano, le cui iniziali figurano in un frammento di affresco ritrovato nella Sala d'Armi, trasformò il complesso in “palatium”: le due torri vennero collegate da un corpo centrale a forma di U che racchiude la corte centrale dando vita a un complesso fortificato a pianta trapezoidale, adibito anche ad abitazione. Nell'inventario dei beni dei Varano fatto redigere nel 1502 da Cesare Borgia, impadronitosi dello stato di Camerino, Ajello è definito "Villa con Rocca". Dopo la fine della signoria dei Varano, a metà del '500, il castello passò allo Stato della Chiesa e quindi a varie famiglie. Nella seconda metà dell'800 fu acquistato da Ortenzio Vitalini.