Zámek Přibyslav vznikl kolem roku 1560, když si Zachariáš z Hradce nechal na místě staršího hospodářského dvora vystavět elegantní lovecký zámeček a letní sídlo v duchu italské renesance. Obdélníková budova, která tvoří dnes zadní a jižní trakt čtyřkřídlého komplexu, byla postavena částečně na starších základech. V jihozápadním nároží se dodnes zachovala gotická křížová klenba původního panského dvora s dvěma kamenými sloupy, a v místnosti u dveří zůstán patrný erb pánů z Hradce s letopočtem 1565.

Po smrti Zachariáše z Hradce jeho dědicové zámek prodali rodině Zajdlických ze Šenfelda. Ti jej v důsledku své protestantské víry ztratili po Bitvě na Bílé hoře – přispěli totiž k útěku tzv. zimního krále Fridricha Falckého z Čech. Zkonfiskovaný majetek zakoupil za 150 tisíc zlatých kardinál František z Dietrichsteina, a rod Dietrichsteinů zůstal vlastníkem zámku až do roku 1923.

Stavební tvář zámku se výrazně měnila s postupem času. V 18. století, předpokládá se za Karla Maxmiliána z Dietrichsteina, se přidala barokní severní přístavba s prvním nádvořím, která byla rozsáhlejší než původní renesanční budova. Roku 1767 zámek spolu s městem vyhořel, ale byl záhy opraven. Mezi lety 1794 a 1810 prošel klasicistní přestavbou a stal se sídlem úředníků hospodářské správy polenského panství. Po dalším požáru v roce 1847 si vlastník František Josef z Dietrichsteina nechal upravit čelní průčelí v empírovém stylu. Dodnes zámek zdobí erb rodu Dietrichsteinů na severním průčelí, který byl restaurován Petrem Mášou v roce 2007.

Ve 20. století se zámek stal veřejným objektem. Od 20. let v něm sídlilo městské muzeum a od roku 1975 začala jeho postupná transformace. Hejtmanství byla odvezena do Pražského hasičského domu a od roku 1983 zde funguje Stálá výstava požární ochrany. Dnes zámek patří Sdružení hasičů Čech, Moravy a Slezska a slouží jako sídlo Hasičského muzea České republiky. Zajímavostí je, že během rozsáhlé rekonstrukce v 70. a 80. letech byla zámková budova vybavena pouze elektrickým vytápěním, takže nemá žádný komín. V roce 1957 byla v zámeckém parku odhalena socha Jana Žižky z Trocnova od sochaře Bohumila Kafky.