La cattedrale di San Sabino sorge in quella che anticamente era la parte periferica della città di Bari, nei pressi della "Porta vecchia" (oggi Arco Alto, la "via delle orecchiette”). La parte sottostante il Duomo, presenta le rovine di una chiesa paleocristiana, con un bellissimo mosaico pavimentale, testimonianza dell'esistenza di una Cattedrale precedente al 1034, momento in cui su di essa si inizia la costruzione di una nuova Chiesa:  in quel momento Bari è capitale dell’Impero bizantino nell’Italia meridionale, grazie alla sua posizione strategica sul mare ed alla possibilità di collegamenti diretti con Costantinopoli. Da Canosa vengono traslate nella Cattedrale le ossa di San Sabino, che diventerà il patrono della città. Viene dedicata al Santo la Chiesa, in precedenza titolata all'Assunta, di cui si conserva ed è ancora venerata l'immagine della "Vergine Odegitria", un dipinto del 1500 su copia di un'immagine più antica che, si racconta, fu creato da San Luca.

La conquista di Bari da parte dei Normanni, le posizioni filo-bizantine mantenute dal Vescovo, e l'arrivo delle ossa di San Nicola, sono gli elementi che portano il potere della Cattedrale e del culto di San Sabino a scemare a favore del Vescovo di Myra. Il potere normanno è osteggiato dal Vescovo stessp e dai prelati della Cattedrale, ma anche dai baresi, che si ribellano sempre, compiendo anche atti distruttivi verso il castello. Guglielmo il Malo, nel 1156, per punire ciò, dà 48 ore di tempo ai cittadini per lasciare la città: trascorso il tempo, Bari viene incendiata e rasa al suolo. La Cattedrale viene ricostruita e nel 1233, presente Federico II, viene consacrato l'Altare maggiore.

Nel giorno del solstizio d’estate il 21 giugno, è possibile assistere allo spettacolare evento che la luce del sole crea, sovrapponendosi perfettamente per secondi, alla copia del rosone, riprodotto sulla pavimentazione.