L’edificio, come la Cattedrale, si affaccia su piazza Marconi e la delimita con la sua forma allungata, leggermente curvilinea. Il prospetto è dominato dall’austero porticato, coperto da volte a crociera circoscritte da otto colonne romane e due pilastri quadrangolari esterni.
Il Palazzo è conosciuto anche come “Palagio San Marco” o “le Pennate”, fu edificato alla fine del 1500 su disposizione del Cardinal Tolomeo Gallio, duca di Alvito, per offrire alloggio e ristoro ai viandanti in pellegrinaggio ad Atina per la festa del patrono S. Marco il Galileo. L’unica concessione sull’estetica della severa impostazione del Palazzo si trova nei piccoli stemmi prepositurali che impreziosiscono il prospetto, evocando la tradizione dei vescovi e dei santi martiri di Atina.
La diocesi di Atina, soppressa sul finire del XII secolo, dal 1145 fu governata da un prevosto, monaco di Montecassino. Lo status di semiautonomia spirituale è confermato in un diploma concesso dall'abate Roffredo del 1195.