Nel 1330 Matteo Sclafani costruisce il palazzo sul piano della Galca di fronte al Palazzo Reale. L'edificio presenta eleganti bifore e sopra il portale d'ingresso è ancora visibile un'edicola con le armi degli Sclafani, sormontata da un'aquila realizzata da Bonaiuto Pisano.Nel 1435, sotto il dominio Spagnolo, il Palazzo viene adibito a Ospedale Grande per opera del Ven. fra Giuliano Maiali, fino al 1852 allorché viene dato in consegna alle Forze Militari. Interessanti sono le testimonianze archeologiche custodite all'interno del Palazzo e la biblioteca con un patrimonio librario composto da 14 mila volumi.