Zámek Věž stojí v srdci malé obce Věž v okresu Havlíčkův Brod, na místě historicky osídleném již od počátku 15. století. První písemná zmínka o Věži pochází z roku 1404, kdy ji vlastnil Mikuláš z Lipničky, avšak v té době zde ještě žádné panské sídlo nestálo.

Vlastní barokní zámek vznikl až koncem 17. století za rodiny Vernierů. Stavbu zahájil Mathias Vernier de Rougemont, burgundský císařský důstojník, který statek získal po třicetileté válce. Jeho syn Jan Bartoloměj svobodný pán Vernier de Rougemont zámek patrně postavil kolem roku 1700. Již o tři roky později, v roce 1703, jej prodal Františku Antonínovi z Gastheimu, čímž zahájil období častého střídání majitelů.

Vznik stavby, kterou Vernier nazývali Černou věží, předcházel doba velkých přestaveb. V rukou rodu Mozerů (zmíněn František Josef Mozar neboli Moser, staroměstský měšťan a komerční rada) prošel zámek v letech 1728–1730 podstatnou transformací – přibylo severní křídlo s kapelí sv. Jana Nepomuckého. Mosarův syn Leopold se pokusil o obnovu stříbrnické těžby, která však skončila neúspěšně a vedla k zadlužení.

V roce 1733 zámek v konkursu koupil Václav Ignác Deym, hrabě ze Stříteže, za 54 100 zlatých. Tento majitel i jeho žena Marie Rosina, která byla neteří dřívějšího vlastníka Vernieera, tu zanechali dlouhodobou stopu. V období 1740–1750 proběhla pod vedením Deymnovy manželky Marie Karolíny rokoková úprava průčelí. Václav Ignác měl šestnáct dětí, z nichž syn Franz Anton statek v roce 1787 prodal.

Následující majitel, obchodník Václav Segenschmid z Velkého Meziříčí, zakoupil velmi zadlužený majetek za 65 000 zlatých. Po jeho smrti v roce 1789 připadlo panství dceři Marii Anně a jejímu manželu Bernardu Krziwankovi. V osobitém detailu historie se ve věžském zámku v letech 1780–1793 ubytovával Josef Lodgman von Auen, kanovník a bývalý jezuita irského původu, který zde žil jako finančně nezávislá osoba.

Pod správou rodiny Křivánkových prošel zámek klasicistní přestavbou a v roce 1820 získal vzhled v empírovém stylu. Eduard Ernest Edler von Krziwanek se stal říšským a zemským poslancem a byl častým hostem literáta K. H. Borovského. V roce 1881 zámek zasáhl požár, ale opravy a rekonstrukce, včetně kaplě, se dočkal až počátkem 20. století, když jej vlastnil Robert Stangler.

Stanglerovci drželi majetek až do roku 1948, kdy mu byl zkonfiskován. Od roku 1958 slouží zámek jako domov důchodců a stále je chráněn jako kulturní památka.