Nel 1527 la comunità sammartinese chiama alcuni religiosi fra i quali il beato padre Sisto Locatelli da Rivarolo (1463-1533) e, dietro autorizzazione apostolica, dona loro la chiesa dei Santi Fabiano e Sebastiano, offrendo inoltre una cospicua somma perché venga eretto un convento di fianco alla chiesa stessa. Il beato Sisto acquista, con quella generosa offerta, un fondo e vi costruisce il convento cui vengono destinati alcuni frati. Essi rimangono a San Martino dal 1527 al 1535 (il beato Sisto era morto due anni prima), quando a causa di alcune vicissitudini tutti i frati abbandonano San Martino, per trasferirsi in altri conventi del mantovano. Frate Francesco Gonzaga (1546-1620), quando torna dalla Spagna, decide di accondiscendere al desiderio degli illustri fratelli Pirro, Scipione, Ferdinando e Giulio Cesare, signori di San Martino, i quali, insieme con tutta la comunità, chiedono il ritorno dei frati, affinché questi possano officiare di nuovo la chiesa. Pertanto, nel 1577, frate Francesco si adopera perché il convento, abbandonato da molti anni e ormai cadente, possa essere ricostruito ed accolga i frati: con le sue mani, il 23 aprile 1577, pone la prima pietra, rifondando e ampliando il convento che inizialmente ospiterà dodici frati. Una lapide, affissa ad un muro dell’antico chiostro, ricorda ancora oggi sia l’opera del beato Sisto da Rivarolo, primo fondatore del convento, sia la successiva riedificazione. Il convento sarà sempre particolarmente caro a frate Francesco perché, com’è noto, nella chiesa annessa è ubicata la cappella di Santa Croce, fondata e dotata, quale sepolcro di famiglia, dalla madre Emilia, definita, nella citata lapide, “lectissima femina”. Il convento, dotatosi in seguito di una ricca biblioteca, diventa sede di studi filosofici e teologici. La presenza dei frati si protrae fino al 1797, anno in cui le autorità francesi decretano la soppressione degli ordini religiosi, dopo quella già effettuata da Maria Teresa d’Austria e dal figlio Giuseppe II (1789). Rimasto così vuoto e abbandonato, l’ex convento, con prato, orto e rustici annessi, viene venduto all’asta perché se ne possano ricavare abitazioni. Diventato dunque di proprietà privata, l’edificio sarà via via frazionato e diviso tra i vari proprietari; oggi è diviso in due proprietà, una privata e una della Parrocchia di San Martino, utilizzata come bar fino ai primi anni duemila. Ora è praticamente chiuso al pubblico. Rimane poco dell’antico convento, varie manutenzioni ne hanno alterato la struttura, ma il chiostro si intravede ancora bene. La parte superstite del chiostro è costituita da un breve tratto del porticato con grosse colonne in cotto intonacate ed archi a tutto sesto; il cortile, fino a qualche anno fa era deturpato da alcune costruzioni e ancora oggi vi è un muro divisorio che lo “taglia” in due, separando l’area di proprietà privata da quella ecclesiastica.