Lo spedale di San Silvestro o di Dolce (dal nome del fondatore Dolce de' Mazzamuti) fu istituito alla fine del secolo XIII, insieme con le altre tre strutture pratesi destinate all'assistenza e beneficenza ai bisognosi: gli ospedali della Misericordia, del Ceppo Vecchio e Nuovo. Con il sacco di Prato da parte delle truppe spagnole (1512) e ad una epidemia di peste (1526), l'ospedale fu chiuso per ordine del Granduca Cosimo II de' Medici. Riaperto nel giugno 1545 fu unito a quello della Misericordia. Nella prima metà dell'Ottocento fu descritto da Emanuele Repetti come un luogo "situato in un angolo appartato della città in mezzo a spaziosi orti ed in tranquillo e ventilato soggiorno".