Zámek Jilemnice stojí v centru města v ulici Kostelní, jeho park se rozprostírá podél Valdštejnské ulice. Je chráněn jako kulturní památka a od roku 1953 v něm sídlí Krkonošské muzeum.

Místo, kde dnes zámek stojí, obsazovala středověká tvrz. Podle dostupných zdrojů ji zřejmě ve 14. století vystavěli Valdštejnové, poprvé se zmínila v zápise z roku 1492. V 16. století ji buď Křinečtí z Ronova nebo páni z Újezdce nechali zbořit a postavit na tom místě renesanční zámek. Historické prameny z té doby však užívají oba termíny – tvrz i zámek – a není proto možné určit přesně, kdy ke změně došlo. Lze předpokládat, že zámek tehdy vznikl přístavbou nových částí k původní tvrzi, kterou ale později při přestavbách zcela zakryly její stopy.

Zámek postupně procházel změnami vlastnictví. Zdědili jej Harantové z Polžic a Bezdružic, později jej v roce 1701 zakoupili Harrachové, kteří jej v roce 1716 přestavěli a během těchto prací některé části zbořili. Zajímavé je, že majitelé jej v tomto období nepoužívali jako své panské sídlo. Zásadní péči mu věnoval až Jan Nepomuk Harrach, jenž v letech 1892–1895 nechali budovu pseudorenesančně přestavět podle návrhů architekta Josefa Pošepného. Po druhé světové válce jej Benešovy dekrety zkonfiskovaly a státu zůstává dodnes. Podrobný inventář z roku 1945 nám zachoval představu o tehdejším vybavení.

Nedaleko zámku vznikla přibližně ve stejné době kaple sv. Alžběty. V její blízkosti se nacházel i hřbitov, který byl zrušen dekrety Josefa II. Po požáru v roce 1788 nebyla kaple obnovena a dnes zde stojí zahradnický domek.

Základy zámeckého parku sahají do 16. století. Urbář z roku 1688 zaznamenal vstupní bránu se dvěma místnostmi a třemi malými komorami, která později zmizela. V polovině 17. století se Kryštof Bohumír Harant zasloužil o rozšíření zahrady, kterou osázel různými rostlinami, keři a stromy, a nechal v ní umístit dva vodotrysky. O dalších pětadvacet let později zde existovala už okrasná zahrada ohraničená zdí, tvarované buxusové stěny, dva letohrádky, hernu, sluneční hodiny a dalších prvků. Po příchodu Harrachů se náročnost parku redukovala. Navzdory tomu zaujímal do konce 19. století plochu jednoho hektaru. V devadesátých letech 19. století byly strženy budovy před zámkem včetně bednárny a lednice. Na místě bednárny dnes stojí pomník Františka Pošepného od sochaře Bohumila Kafky.

Po druhé světové válce péče o park dlouhodobě upadala, zejména necitlivým vybudováním přírodního amfiteátru. V sedmdesátých letech byla zahájena rekonstrukce, která částečně situaci napravila. V devadesátých letech se péče obnovuje s pomocí různých organizací, park se postupně stává místem relaxace a odpočinku.