La sua struttura particolare risale al XIII secolo ed è ben riconoscibile per via della scalinata che anticipa il palazzo e per gli affreschi decorativi sulla facciata. Inoltre è presente un fregio della fine del XV secolo e, nell’angolo destro, il grande simbolo della famiglia dei Medici. L’edificio è affiancato da una torre duecentesca.
Il nome del palazzo spiega bene la sua funzione: sede dei priori e del consiglio generale. Svolse questo compito a partire dal quattrocento. L’edificio è composto da una loggia al pian terreno, mentre al piano superiore c’era una cappella e il salone in cui si svolgeva l’assemblea delle magistrature cittadine. Il salone, di dimensioni considerevoli, è dotato di una chisura a capriate e di porte intarsiate originali del XV secolo. Di fianco c’è invece la sala della cancelleria e la cappella di San Giuseppe rinnovata anch’essa nel XVI secolo.
L’accesso al pian terreno è invece indipendente e qui sono presenti due ambienti, impiegati successivamente come magazzini del sale, mentre oggi ospitano mostre d’arte.
All’interno del palazzo dei Priori, al piano superiore, era ospitato il museo d’arte sacra, poi trasferito nello spazio espostivo di San Pietro. Oggi ospita invece la sede del museo civico che ospita spesso anche mostre temporanee.