Accessibile sino al XVIII secolo da recinto Castelvecchio, il palazzo assunse la forma di una dimora signorile a partire dalla seconda metà del XV secolo. Alcuni decenni più tardi pervenne, per dote, ai nobili Ferraù, famiglia originaria della Calabria e stabilitasi a Matera con Giambattista, detto “lo francioso”. La famiglia divenne ben presto una delle più influenti della città e diversi furono gli esponenti della casata a ricoprire gli uffici nobili dell’amministrazione cittadina.