Chiamato anche Torre Fiorentina, Castelfiorentino è il nome odierno del sito sul quale si trovano i resti della piccola città medievale chiamata Florentinum. È citata per la prima volta da Leone Ostiense nei Chronica monasterii Casinensis, sin dal 1058 figura nell'elenco delle sedi vescovili suffraganee della metropolia di Benevento. Era allora ben popolata: ospitava pochi artigiani, due o tre giudici, probabilmente altrettanti notai, ma la sua cattedrale contava circa quindici canonici e in città c'erano almeno altre sei chiese. Ubicata su uno sperone di forma allungata, fu edificata, come le altre città bizantine della Capitanata, su una pianta ortogonale, con una grande via longitudinale e viuzze perpendicolari. Senza dubbio all'estremità dello sperone si ergeva un castello normanno costruito alcuni decenni più tardi ; all'altra estremità, probabilmente sin dalla fine del XII sec. la città era prolungata da un sobborgo, ben visibile sulle fotografie aeree. Il territorio della città, che si estendeva nella zona delle colline subappenniniche, pure di superficie ristretta, ospitava almeno un casale, S. Salvatore, che scomparve durante l'occupazione musulmana di Lucera. Il declino della città cominciò nella seconda metà del XIII sec.; la sede vescovile scomparve nel secolo successivo e le ultime tracce di insediamento sembrano spegnersi verso l'inizio del Seicento; le rovine della cattedrale erano ancora visibili nell'Ottocento. Durante il ventennio anarchico della minorità di Federico II, Florentinum era governata dal conte di Lesina e Civitate Matteo Gentilis, ma nel 1223 era tornata al demanio. Non si sa quando, nell'ambito del rimaneggiamento del territorio della Capitanata, Federico II decise di farsi edificare una domus solaciorum nella città ); si suppone che essa sia stata eretta abbastanza presto, in quanto non riveste la forma dei palazzi federiciani più recenti. Sembra evidente comunque che la domus abbia occupato il posto (probabilmente una motta di origine normanna ben difesa) sul quale sorgeva il castello normanno, separato dalla città con un muro. Tale sostituzione di un castello difensivo con una domus corrisponde bene all'idea secondo la quale l'intera regione sarebbe stata protetta dai castelli periferici. La domus federiciana si innestava su strutture preesistenti, ed è stata in seguito rimaneggiata, probabilmente in età angioina, dai signori della città. Si trattava di un edificio maestoso, di pianta quasi rettangolare, lungo 29 m e largo 17 m, con uno spazio utile interno di 275 mq, costituito da due stanze lunghe leggermente spostate l'una rispetto all'altra. I muri, spessi 1,5 m, erano coperti da un rivestimento di belle pietre. Certo la pianta della domus di Castelfiorentino era molto meno sofisticata di quella dei palazzi di Castel del Monte, di Lucera e anche di Gravina. Quattro aperture strette e protette permettevano l'accesso dall'esterno. All'interno, le pareti erano rivestite di intonaco e il suolo di mattonelle disposte in opus spicatum. La stanza ovest era munita di due camini, i muri della stanza est di banchi di pietra. Tre archi di tufo sostenevano un soffitto o una volta su ogni stanza. L'edificio doveva comprendere un piano superiore, non conservato, ma probabilmente ornato di finestre con colonnine scolpite. Frammenti di capitelli, di colonne e di pilastri, di cornicioni, di archi a ogiva, di vetrate policrome testimoniano la ricchezza della decorazione interna della residenza imperiale. Federico II morì a Castelfiorentino 13 dicembre 1250, a proposito del luogo della morte dell'imperatore, nacque una leggenda che forse aveva un fondamento veridico.Secondo questa storia, gli astrologi annunciarono all'imperatore che egli sarebbe dovuto 'appassire' sub flore; Federico, desiderando nientemeno che l'immortalità, avrebbe allora sistematicamente evitato Florentia e Florentinum. Ma cadde in una trappola imprevista e così morì realmente sub flore, a Castelfiorentino appunto.