Il complesso monastico venne trasferito in città a seguito del Decreto di Giovanni II del 1408, in via del Poio (il Podium o Poggio, l’altura che anticamente era chiamata Castelnuovo per distinguerla dell’opposta Castelvecchio), dalla contrada Palatina, situata nei pressi della porta del Piano. Intorno al 1460 al monastero di Santa Margherita si aggregarono le monache benedettine sia del monastero di S. Andrea, allora ubicato fuori le mura di Fabriano nei pressi del monastero di S. Romualdo, sia di quello di S. Antonio da Padova, situato nel quartiere di Castelvecchio. La Chiesa di Santa Margherita con annesso monastero della regola di San Benedetto, i cui limiti coincisero per molto tempo con parte delle mura cittadine, conserva all’interno tracce di costruzioni risalenti ai sec. XIV e XV. Il chiostro è di stile rinascimentale, mentre la chiesa, è stata ricostruita nel 1704.