Progettato probabilmente da Antonio da Sangallo nel XVI secolo per volere della famiglia Cybo, Palazzo Silvani-Loreni fu orginariamente sede governativa del Ducato di Ferentillo.
Il Palazzo si affaccia su piazza Garibaldi ed è disposto su 3 livelli con un vasto giardino botanico alle sue spalle, realizzato dal Maestro Silvano Silvani. Il salone di rappresentanza, di grande ampiezza, presenta un soffitto a cassettoni ed un prezioso ciclo pittorico del XVI secolo, con gli stemmi gentilizi delle varie casate che hanno governato sul territorio. Nella sala di rappresentanza è inoltre esposta una collezione di armi antiche di enorme valore, con reperti originali risalenti all'età romana.
Dal XVIII secolo, il Palazzo passa alla famiglia Silvani-Loreni la quale ne è ancora oggi proprietaria.
