Il palazzo fu costruito nel 1444 per incarico di Leonello d'Este; passò in seguito a Francesco Strozzi e, successivamente alle nobili famiglie Sacrati, Rossetti, Costabili e Trotti. Nel 1533 Alfonso Trotti trasformò il prospetto adeguandolo alle nuove concezioni architettoniche, aprendo sulla facciata un monumentale portale marmoreo sovrastato da un elegante balcone. Nel 1721 l'edificio fu acquistato dal Cardinale Ruffo per farne la sede del Seminario e gli interni vennero in gran parte trasformati. Oggi, completamente ristrutturato, è stato adattato ad accogliere diverse attività civili. Degli antichi ambienti restano due sale al piano terra decorate dal famoso pittore Benvenuto Tisi da Garofalo.