Di Palazzo è stato scritto quanto segue. Il castello più caratteristico di Arcevia si trova arroccato su un poggio a circa 516 m. d'altitudine.Palazzo fu costruito abbastanza tardi da Rocca Contrada, nella seconda metà del '300 e presenta una struttura urbanistica singolare sviluppatasi lungo le linee di livello delle pendici del Monte Caudino. E' dotato di possenti tratti di mura in pietra e cotto e di una bella porta d'accesso quattrocentesca. Da ammirare sono la chiesa parrocchiale dei Santi Settimio e Stefano (1ª metà sec. XVIII), imponente costruzione tardo barocca - probabilmente opera di un esponente della famiglia di architetti Vici originari di Palazzo – con splendidi altari marmorei e bella tela settecentesca di scuola veneta, e l'Oratorio Privato di S. Venanzio (1751-'59), eretto su progetto di Arcangelo Vici, con notevole interno affrescato. Il castello di Palazzo ha due porte d'ingresso, una superiore e una inferiore: quando entri dentro a piedi (perchè lungo i vicoli stretti e ripidi si può transitare solo a piedi), il mondo resta fuori e ti ritrovi con le pietre, il vento, i pezzetti del cielo e -se sai ascoltare- gli echi di antiche leggende giunte a sorpresa fino a noi (il battito del telaio del Sasso del diavolo, i rintocchi delle campane di un vecchio convento distrutto, i lamenti dei condannati nei cunicoli sotterranei...)