Il castello, di fondazione federiciana, fu probabilmente ampliato in più fasi. Oggi in rovina, si presenta come un palazzo fortificato circondato da mura munite di bastioni e contrafforti. Sono presenti due torri che dominano la campagna circostante e una cappella dedicata a san Marco. Il castello del conte Pignatelli è ciò che testimonia il passato di San Marco, la storia di questo paese; è il posto, la leggenda racconta, da cui il conte assisteva alla Giostra della Jaletta, vero simbolo di San Marco. Cercare di riportare in vita il castello significherebbe ridare vita al paese e a tutti i suoi abitanti.