Il castello è costruito sul colle che sovrasta il borgo medievale di Trebiano, a cavallo tra la bassa val di Magra e il mare, a controllo degli importanti scali marittimi commerciali di Lerici (utilizzato per lo più dalla Repubblica di Genova e la Francia) e di San Genesio verso La Spezia per gli scambi con la Toscana. Di pianta quadrata, o meglio sub-pentagonale, il castello presenta quattro grandi torri ai lati inglobate nella cortina che raggiunge l'altezza massima di 20 metri. Non ha finestre, ma lunghe e strette feritoie. Il castello risalirebbe al X secolo o ad un periodo di poco precedente, poiché nel 963 è citato con certezza in un diploma dell'imperatore Ottone I di Sassonia. Inizialmente il castello era possedimento della Diocesi di Luni, proprietaria delle terre feudali tra Liguria e l'odierna Lunigiana. Utilizzato come residenza vescovile rimase in possesso della Diocesi nonostante il passaggio del borgo, nel 1039, ai primi Signori di Trebiano, questi ultimi vicini alla diocesi lunense.