Il palazzo, costruito alla fine del secolo XVI dalla famiglia asprese dei Bruschi (feudataria degli Orsini) si trova a ridosso della parte settentrionale della cinta muraria del secolo XIII inglobando anche uno dei cinque torrioni rimasti. Il palazzo conta oltre cinquanta stanze e una cappella in cui si celebravano anche due messe al giorno. Un omaggio alla potente famiglia guelfa degli Orsini è rappresentato dai due orsi in pietra che si trovano a lato del portale del palazzo.Nel 1781 il palazzo ospitò il cardinal Corsini durante la sua visita pastorale. Da allora la camera, arredata appositamente per l'illustre ospite, prese il nome di "Camera del cardinale". Durante la dominazione napoleonica i Bruschi restaurarono il palazzo secondo lo stile impero. Alla fine degli anni sessanta, Giuliana Forani ristruttura i magazzini situati tra il torrione e il palazzo trasformandoli nella sua residenza abituale, più comoda e semplice rispetto al palazzo.