La chiesa di San Giovanni Elemosinario è molto antica: fondata ancor prima del 1071, nulla rimane di questo primitivo edificio completamente distrutto durante un disastroso incendio che colpì tutta la zona di Rialto nel 1514.
In seguito a questa terribile calamità, in cui andarono distrutte numerose botteghe ed enormi quantità di mercanzie, la riedificazione della chiesa venne probabilmente affidata ad Antonio Abbondi, detto lo Scarpagnino, il quale si stava occupando della ricostruzione di tutta la zona del mercato. La chiesa venne ultimata prima del 1531.
L’edificio attuale risulta completamente inserito nella densa cortina edilizia tanto da renderne difficile l’individuazione.