Il Palazzo deve il suo aspetto alla famiglia Cesi, ed in particolare a Pierferdinando Cesi che lo ereditò dal nipote Marcantonio. Pierferdinando volle trasformare l’austero edificio militare in una dimora dall’aspetto più gentile e signorile, promuovendo una serie di lavori che si protrarranno dal 1566 al 1579, seguendone personalmente tutte le fasi di ricostruzione e decorazione
Si scelse quindi il rifacimento della facciata che si apre sulla omonima piazza interna al paese, lasciando che la parte esterna del castello (rivolta verso la sottostante vallata) restasse sostanzialmente invariata e caratterizzata da alti muraglioni e spigolosi torrioni d'angolo. Tanto severo era l’esterno quanto gentile divenne la facciata che rivolge al paese, sviluppata su due livelli di portico e loggia, quasi un apparato architettonico teatrale.
Il palazzo di Cantalupo, alla morte di Francesco Maria Cesi ultimo del suo ramo, andò in eredità ai Cesi di Acquasparta, i quali vendettero nel 1697 il feudo al Marchese Guido Vaini. Passò poi ai Lante della Rovere, fino a che nel 1804 non fu acquistato dal Patriziato Sabino. Nel 1820 Cantalupo fu comprato dal Marchese Filippo Simonetti, da lui passò a Pietro Bruno di San Giorgio e nel 1840 al Principe Enrico Felice de Podenas dal quale nel 1862 lo rilevò infine Giovan Battista Camuccini.
Nel Palazzo Camuccini è custodita la stanza dove pernottò Giuseppe Garibaldi prima della battaglia di Aspromonte.