Il castello ha una storia molto antica, risulta che fosse di proprietà della famiglia Priacini, che ne dà il nome, famiglia che si è poi spostata a Bergamo in via Arena nei primi anni del XIV secolo. La torre del Lavanderio, una delle tante che si trovavano sul territorio, è sicuramente la sua parte più antica, forse di origine longobarda, la località infatti era abitata grazie alla sua ricchezza mineraria con il ferro, e in particolare con la galena argentifera, già nell'alto medioevo. Il castello, grazie alla sua posizione, domina l'alta valle Seriana, visibile da chi si avvicina al borgo di Gromo