Zámek stojí v srdci městyse těsně u břehu Panského rybníka, v bezprostřední blízkosti Úsobského potoka. Nachází se u silnice II/348 vedoucí od Chyšky na Herálec. Stavba je chráněna jako kulturní památka České republiky od roku 1958 a je označena turistickou známkou číslo 1989.

První písemné zmínky o Úsobí pocházejí z roku 1307, kdy panství vlastnili pražští biskupové a arcibiskupové, kterým jej poskytli Rožmberkové. Duchovní majitelé zde zůstali více než 130 let. V roce 1436 jej odkoupili Trčkové z Lípy a stali se nejdélejšími vlastníky – drží panství téměř 170 let až do roku 1601. V polovině 16. století předpokládá se, že na soutoku dvou potoků byla vystavěna vodní tvrz coby první panské sídlo. První jasně dosvědčená zmínka o panském sídle pochází ale až z roku 1622.

Po roce 1628, kdy panství vlastnili Štubíkové z Königsteina, se majitelé měnili v rychlejším tempu. Ve druhé polovině 18. století došlo k zásadní přestavbě tvrze na pozdně barokní zámek. Roku 1751 zakoupil panství František Jošt (Jodok), svobodný pán Göldin z Tiefenau, otec patnácti dětí. Právě jemu se připisuje transformace sídla na zámek v barokním slohu. V roce 1757 nechал postavit v severovýchodním křídle kapli zasvěcenou Panně Marii Pomocné, svatému Floriánovi a svatému Donátovi.

Syn se však nedokázal udržet v prosperitě a panství skončilo v dražbě. V roce 1785 jej zakoupil Martin Leopold Fučikovský z Grünhofu, pod jehož vedením se zámek rozvíjel. Okolo roku 1830 přešel zámek empírovou přestavbou, jež se dotkla i kaple. V parku byla v tomto období vybudována oranžerie. Od roku 1903 vlastnili zámek manželé Ludvík a Jenny Wesselá – Jenny byla dcerou průmyslníka Emila Škody. V roce 1935 jej rodina prodala Robertu Stanglerovi.

Prodej se stal složitým – kupní cenu částečně uhradil Dr. Ing. Antonín Imlauf. Po Stanglerově smrti v roce 1947 byl zámek v roce 1948 zestátněn. V budově byla umístěna léčebna dlouhodobě nemocných z havlíčkobrodské nemocnice a stavba postupně chátral. V roce 1992 byl vrácen potomkům Stanglera v rámci restituace. Rok nato jej novi majitelé prodali, avšak jejich záměry nebyly realizovány. Po šesti letech zůstal zámek bez využití a byl terčem vandalů. V roce 1999 jej zakoupil současný majitel a provedl generální rekonstrukci. Dnes tak návštěvník nachází obnovenou stavbu, která si zachovává svůj barokní charakter.