Zámek se rozkládá v centrální části Nalžovských Hor v okrese Klatovy. Jde o renesanční čtyřkřídlou stavbu s uzavřeným vnitřním nádvořím, hranolovou věží a přilehlým krajinářským parkem. Spolu s hospodářskými budovami tvoří chráněný areál kulturní památky.

Počátky sídla sahají nejspíše do poloviny 15. století, kdy zde předpokládá se vznikla původní tvrz. Na počátku třicetileté války, v roce 1618 nebo 1619, protihabsburská uherská vojska Nalžovy vydrancovala a tvrz zřejmě vážně poškodila. Tehdejší majitel panství Bedřich Švihovský z Rýzmberka proto nechal jižně od poškozené tvrze vystavět nový renesanční zámek. Nová budova měla čtyři křídla s uzavřeným dvorem, hlavní věž nad východním průčelím, věže zvané rundely ve třech rozích a vlastní kapli. Písemně je zámek poprvé doložen roku 1630. Původní tvrz byla přeměněna na obydlí panských úředníků a v okolí vznikl hospodářský dvůr s pivovarem.

Roku 1718 přešlo nalžovské panství do rukou hrabat z Pöttingu. Ti nechali zámek v první polovině 18. století upravit v barokním stylu, přičemž základní dispozice stavby se příliš nezměnila. Přestavba byla pravděpodobně dokončena v červenci 1744, kdy proběhlo znovuvysvěcení zámecké kaple svatého Václava. Původní tvrz tehdy zřejmě zanikla a její místo zaujala budova sýpky. Barokní úpravy zasáhly také okolní park a zahrady.

Roku 1769 přešel zámek do držení hrabat Taaffe, irského šlechtického rodu působícího v císařských službách. Zásadní proměnu přinesl Ludwig Taaffe (1791–1855), za nějž byla roku 1840 zahájena přestavba v empírovém a novorenesančním stylu. Jejím autorem byl Heinrich Koch, dvorní architekt ditrichštejnů. Přibyla čtvrtá věž na jihovýchodní nároží zámku, upravena byla střecha hlavní věže nad východním průčelím, sjednoceny fasády a přebudovány interiéry — tyto práce prakticky setřely podobu předchozí barokní etapy. Zároveň vznikla budova koníren, stodola, kočárovna a soubor pivovarských sklepů využívající starší renesanční základy. Původní barokní zahrada byla přeměněna na krajinářský park s výsadbou exotických dřevin. Ludwig Taaffe nechal také na vrchu Prašivec severovýchodně od městečka vybudovat umělou zříceninu, inspirovanou irským rodovým sídlem Ballymotte.

Roku 1873 zdědil nalžovský velkostatek Eduard hrabě Taaffe, přední politik své doby a pozdější ministerský předseda Předlitavska. Po odchodu z politiky se do Nalžov přestěhoval a koncem listopadu 1895 zde zemřel. Panství tehdy disponovalo přibližně 2 000 hektary orné půdy a šlechtitelské středisko u Stříbrných Hor bylo pokládáno za nejvýše a nejnepříznivěji položené svého druhu v celém Československu — specializovalo se na zušlechťování žita, ovsa, brambor a hrachu.

Pozemková reforma po vzniku Československa velkostatek hospodářsky oslabila. Roku 1929 zámek zasáhl požár a v roce 1934 byla na zadlužený statek uvalena nucená správa. Roku 1937 Edward Karel Richard Taaffe prodal velkostatek bratřím Františkovi a Karlovi Müllerovým; ti jej drželi do roku 1945, kdy jim byl majetek zkonfiskován státem. V zámku byla posléze umístěna základní škola a opravy proběhly v roce 1975.

Roku 1993 byl zámek vrácen dědicům Karla Müllera a roku 2008 od nich přešel do dalších rukou. Renesanční dispozice s pozdějšími empírovými úpravami, krajinářský park s exotickými dřevinami a nesporná historická provázanost s osudy šlechty i moderního státu dělají z Nalžov zajímavý cíl pro každého, kdo se zajímá o českou architekturu a dějiny.