Nel 1664 il conte Guido Carlo Rasponi, fratello minore del cardinale Cesare Rasponi, acquistò la tenuta di Raffanara, sita nella campagna ravennate.
Nella tenuta vi erano due edifici. Il più antico era una chiesa dedicata a San Giacomo, esistente sin dal XII secolo.
Sotto l'argine destro del fiume Lamone vi erano le rovine di un castrum. I Rasponi edificarono la loro residenza estiva sulle rovine dell'antico castello. Il palazzo fu via via abbellito nel corso degli anni dagli eredi di Guido Carlo.
Durante il Risorgimento il palazzo (abitato solo d'estate) diventò nascondiglio dei rivoluzionari e sede di riunioni clandestine. La famiglia Rasponi cessò di utilizzare la residenza dopo il 1880.
All'inizio del XX secolo furono distrutti il giardino all'italiana e molti elementi architettonici del palazzo.
Nel 1947 la proprietà passò alla Diocesi di Faenza. Negli anni seguenti ignoti portarono via tutti gli arredi e le suppellettili.
Dal 1975 è proprietario il Comune di Russi.