Il Palazzo fu eretto dal conte Marcantonio Rasini, intorno al 1580 su progetto dell’architetto Martino Bassi. L’edificio a due piani si impose sul borgo con la sua mole caratterizzata dall’ampia corte d’onore e dalla facciata, che costituì un lato della piazza principale.
Tra XVII e XVIII secolo il complesso fu ristrutturato, che gli conferirono un aspetto ancor più fastoso.
Oggetto di un progressivo abbandono tra XVIII e XIX secolo e dopo numerosi passaggi di proprietà, fu acquisito negli anni Venti del Novecento dal Comune per diventare sede del Municipio.
Particolare interesse destano gli affreschi: nella Sala delle Fontane e nella Sala di Giove i paesaggi e le figure fantastiche sono riferibili all’ambito di Carlo Antonio Procaccini; mentre il Salone di Apollo è decorato con il Carro del Sole di Mattia Bortoloni e con stucchi rococò. Al piano nobile i restauri hanno messo in luce i seicenteschi affreschi con musicisti di Giovanni Paolo Cavagna e Giovanni Stefano Montalto.