Zámek vyrůstal postupně. Roku 1501 zde Jan Černčický z Kácova postavil hrad, který byl zahrnut do opevnění města, avšak od něho oddělen výrazným příkopem. Po vyhoření města během 16. století prošel hrad proměnou – Pernštejnové a Stubenberkové jej přestavěli na renesanční zámek. Následně jej za Waltera Leslie barokně přestavěli v letech 1655–1661 podle plánů Carla Luraga.

Zlomovým bodem byla přestavba v letech 1909–1913, kterou realizoval architekt Dušan Jurkovič pro nové vlastníky – průmyslníky Josefa a Cyrila Bartoně z Dobenína. Jurkovič nezůstal jen u stavby – navrhl také originální zámeckou zahradu italského stylu s výrazným dřevěným krytým mostem, který se stal architektonickou dominantou. Most byl rozdělen na dvě části věží o třech podlažích a inspiroval se Jurkovič lidovými stavbami ze slovenských Čičman. Ve 20. a 30. letech byly některé místnosti dodatečně zařízeny ve stylech art deco a funkcionalismu pod vedením architekta Pavla Janáka.

Zámek tvoří čtyřúhelník kolem nepravidelného dvora. Jeho charakteristickým prvkem je renesanční kulatá věž v severním nároží, které říkají Máselnice – název získala podle své podoby se zařízením na výrobu másla. Průčelí a nádvoří zdobí renesanční grisaillová výzdoba, kterou při Jurkovičově úpravě odkryly. Hlavní vchod vede přes most přes příkop a je završen kamenným barokním portálem. Interiéry zdobí řada pozoruhodných prostor s barokní stukovou a moderní výzdobou. Své stopy zde zanechali sochaři Josef Václav Myslbek, Jan Štursa, Ladislav Šalouna a František Bílka, stejně jako František Kysela a Max Švabinský. V zahradě a před zámkem stojí 23 trpaslíků z dílny Matyáše Bernarda Brauna z let kolem roku 1713, které zde byly umístěny v roce 1929 po přenesení z Benátek nad Jizerou. Součástí parku je také monolitní kamenná kašna.

Zajímavou součástí historického záznamu je také Bedřich Smetana. Jeho otec František sem v roce 1818 přišel jako nájemce do opraveného zámeckého pivovaru. Rodina se posléze přestěhovala do Litomyšle, kde se Bedřich v roce 1824 narodil. Později se slavný skladatel sem vracel za příbuznými, především za sestřenicí Luisou, do níž se zamiloval a pro niž sepsal Luisinu polku.

V roce 1948 byl zámek konfiskován Bartoňům a zůstal ve státní správě. Roku 1992 byl v restituci vrácen Josefu Bartoňovi Dobenínovi a od té doby je zpřístupňován veřejnosti. Od roku 2008 je chráněn jako národní kulturní památka. Od června 2020 je zámek na prodej se státním právem předkupu. Návštěvník zde najde jedinečné spojení několika stavebních stylů a bohatý architektonický odkaz jednoho z nejvýznamnějších českých architektů moderny.