L'odierno santuario sorge su un antico sito monastico bizantino, alle pendici del monte Sellaro, anche noto come monte santo. Già nel X secolo si ha notizia nella Vita di san Saba di un monachus ascetarii Armon (un monaco proveniente dall'ascetario delle Armi) e, poco distante, dell'esistenza del celebre monastero bizantino di Sant'Andrea, guidato dagli abati (egùmeni) Pacomio e san Gregorio da Cerchiara. Nel 1192 una ricca donazione in greco di un facoltoso cerchiarese, Gervasio Cabita, menziona, tra gli altri beneficiari, il monastero femminile di Santa Maria delle Armi e la sua chiesa.