Il complesso venne eretto a partire dal 1704 su un progetto originale dell’architetto gesuita Andrea Pozzo (1642-1709) con l’annessa chiesa di S. Ignazio, ridisegnata in forme più lineari ed innalzata a partire dal 1714 dall’austriaco Matthias Gremsel (XVII-XVIII secolo), allora al servizio dei conti Brandolini nel castello di Cison di Valmarino.
Dopo la soppressione dei Gesuiti del 1773 l’intero complesso fu trasformato in scuola pubblica, ospitando anche qualche anno dopo il seminario dei chierici.
Requisito nel 1797 dagli occupanti francesi per utilizzo militare, che ne comportò una parziale ristrutturazione interna con alterazione dei volumi originali, dal 1854 al 1862 fu sede dell’Istituto Militare di Educazione Inferiore asburgico, quindi divenne la sede del Distretto Militare provinciale fino alla sua soppressione avvenuta nel 1995.