La Torre della Muda, detta anche della Fame o del Conte Ugolino, è un antico edificio medievale dove risiedeva il Capitano del Popolo a partire dal 1357, già proprietà della famiglia Gualandi. La Torre della Muda dove morì il Conte Ugolino Della Gherardesca con i figli e nipoti, fu incorporata nel Palazzo dell’Orologio ma il profilo della Torre è ancora riconoscibile a sinistra dell'arco centrale. Nel 1605-1608, in seguito all'accorpamento di due edifici tramite un arco con l'orologio, venne terminato il Palazzo nelle forme odierne, secondo il progetto di Giorgio Vasari. L'orologio e la cella campanaria risalgono al 1696. Nel 1919, l'edificio fu soggetto a un discutibile intervento di ristrutturazione in stile neogotico, con l'apertura della quadrifora. Negli anni '70-'80 l'edificio passò alla Scuola Normale di Pisa.