Hartenberg zaujímá strategickou polohu na skalnatém ostrohu nad pravým břehem řeky Svatavy, přibližně ve výšce 510 metrů nad mořem. Předpokládá se, že původně plnil funkci pohraničního hradu, postaveného kolem roku 1200 na pomezí tehdejšího přemyslovského Sedlecka a území ovládaného německými feudály. Archeologické výzkumy z let 2007 až 2010 odhalily románské slohové prvky a naznačují, že již na přelomu 12. a 13. století zde stávala minimálně dvoupodlažní a dvouprostorová stavba. Roku 1200 se bratři Jindřich a Albert písemně hlásili k predikátu z Hartenbergu. Za první zmínku o hradě bývá uváděn rok 1214, první nesporný doklad pochází až z roku 1345.

Hartenbergové drželi hrad do roku 1362, kdy ho od nich získal Těma z Koldic. Ten ho záhy, roku 1364, vyměnil s Karlem IV. za majetek v Budyšíně. Na počátku 15. století se hrad na čas vrátil Hartenbergům, kteří ho vzápětí prodali Janu Maléříkovi. Jeho potomci jej využívali jako základnu pro loupežné výpady, za což byl roku 1459 hrad obléhán armádou města Chebu, dobyt a vypleněn. Roku 1426 ho údajně dobyl husitský hejtman Jakoubek z Vřesovic, jenž ze Žlutic podnikal výpravy na Chebsko.

Za vlády Jiřího z Poděbrad přešel zpustlý hrad zástavou do rukou Šliků. Mates Šlik ho roku 1471 obnovil a nechal posvětit novou kapli sv. Tří králů ve druhém patře. Štěpán Šlik se roku 1523 zasloužil o rozvoj těžby olověných rud v okolí; téhož šlechtice dostihla roku 1526 smrt v bitvě u Moháče po boku krále Ludvíka. Roku 1547 Jeroným Šlik celé panství vyměnil s Ferdinandem I. za panství Krasíkov a Hartenberg byl připojen k loketskému kraji.

Od roku 1597 patřil hrad Jindřichu Domináčkovi z Písnice a jeho rod ho držel více než 150 let. Roku 1603 vznikl zámecký pivovar. Třicetiletá válka se hradu silně dotkla: roku 1621 ho dobyli Bavorové, roku 1640 vyplundrovala nádvoří švédská vojska a v letech 1640 až 1643 ho obsadili a zničili císařští mušketýři. Roku 1668 propukl velký požár; obnova trvala až do roku 1688. Roku 1791 zemřela poslední z rodu Písniců, Maria Josefa, a panství zdědila její neteř Marie Anna provdaná za hraběte Leopolda Auersperga.

V druhé polovině 18. století tak Hartenberg definitivně přešel na Auersperky a od 17. do 19. století byl postupně přestavován v zámek. Zvláštní kapitolou jsou návštěvy Johanna Wolfganga Goetha, jenž zde opakovaně pobýval jako přítel majitele, hraběte Josefa Auersperga (1795–1857). Oba muže pojila vášeň pro přírodní vědy, zejména mineralogii. Roku 1821 Goethe na Hartenbergu slavil svých 72. narozeniny; oslava vyvrcholila ohňostrojem. Zámek navštívil i při své poslední, patnácté cestě do Čech. Po Josefově smrti roku 1857 připadl hrad jeho manželce Františce Antonii, za níž proběhla roku 1871 rozsáhlá úprava interiérů.

Po roce 1901 zdědila Hartenberg neteř Františky Antonie, Marie Kopalová, jejíž sňatek s Viktorem Kopalem se uskutečnil přímo na hradě roku 1882. Poslední šlechtická majitelka Františka Kopalová převzala objekt roku 1913 a v květnu 1945 byla odsunuta do Německa. Poválečná léta nebyla k hradu laskavá: sloužil jako poddůstojnická škola pohraničníků, poté jako sklad a sýpka Státních lesů. Plánovaná rekonstrukce z roku 1983 se pro přílišnou nákladnost neuskutečnila. V letech 1984 až 1991 byl Hartenberg opakovaně úmyslně zapálen a proměnil se ve zříceninu, jíž je dodnes.

Přesto stojí za návštěvu. Romantická silueta rozvalených zdí nad říčkou Svatavou, dramatické dějiny sahající hluboko do středověku a vzpomínka na Goetha slavícího narozeniny s ohňostrojem dávají tomuto místu atmosféru, kterou okolní kraj jen těžko nabídne jinde.