Il palazzo è costruito nel 1600 da Nicolò e Andrea Giovanelli. Il nucleo più antico, l’ala destra, è di altezza più contenuta rispetto al fabbricato principale. Essa risale probabilmente al 1200 anche se fu oggetto di trasformazioni continue nei secoli successivi; qui è stato rinvenuto un affresco molto antico rappresentante "la Crocifissione", trasportato ora su tela. L'edificio passa ai Ghirardelli e nell’Ottocento ai Fiori, che costruirono in zona marginale al giardino un laboratorio di tessitura; sulla parete divisoria con il palazzo seicentesco, sono visibili affreschi purtroppo degradati, ma che lasciano aperti spiragli per ulteriori rinvenimenti di interesse. Nel laboratorio è conservato un vecchio telaio in legno. La chiusura del porticato risale ai primi anni del secolo XX ed è realizzata con serramento in ferro e con vetri a disegno Liberty. Il Palazzo si distingue per la vastità e il numero degli ambienti oltre che per il giardino pensile aggettante sulla valle del Romna.