Červená Lhota má své kořeny v gotické tvrzi, která vznikla v 14. století v údolí Dírenského potoka. Skála, na níž zámek stojí, získala svůj ostrovní charakter přehrazením potoka a odlámáním skalní šíje, čímž se vodní plocha stala nedílnou součástí nádherné lokality. První písemná zmínka o tvrzi pochází z roku 1465.

Rozhodující zlom v historii stavby nastal v roce 1530, kdy se majiteli tvrze stali rytíři Kábové z Rybňan. Jan Kába z Rybňan si nechal starou gotickou stavbu přestavět na pohodlnější renesanční zámeček, od té doby nazývaný Nová Lhota. Samo pojmenování Červená Lhota se objevuje až od počátku 17. století, údajně podle barvy stavby. Lokální podání vypráví legendarní příběh o čertovi, který unese nevěřící zámeckou paní, čímž jejích krev údajně nechá nemazatelné stopy na zdech. Historické prameny však žádnou konkrétní událost, která by s legendou souvisela, nepotvrzují.

Po přestavbě z renesanční doby následovaly dalších změny vlastnictví. Na konci 16. století zámek získali Růtové z Dírné, jenž jej po bitvě na Bílé hoře v roce 1620 přišli, přestože se stavovského povstání nezúčastnili. Během třicetileté války vlastnil panství italský rytmistr Antonio Bruccio, který nechal postavit kamenný most vedoucí k zámku na místě staršího dřevěného. V roce 1641 zámek koupil Vilém Slavata z Chlumu a Košumberka, čímž zahájil novou etapu přestaveb. Mezi lety 1641 a 1678 probíhaly barokní úpravy, které přeměnily šlechtické sídlo na letohrádek, kterým se Slavatové vypravovali z blízkého Jindřichova Hradce.

Po vymření rodu Slavatů v roce 1693 zdědila majetek jejich neteř Marie Terezie, která se provdala za Arnošta Bedřicha z Windischgrätze. Od poloviny 18. století se majitelé několikrát změnili. V letech 1796–1799 pobýval na zámku skladatel Karl Ditters von Dittersdorf, spoluzakladatel německé opery. Od roku 1835 vlastnila zámek čtyři generace knížecí rodiny Schönburg-Hartenstein, která jej obývala až do roku 1945. Tato rodina dala v polovině 19. století zámeckou věž a štíty upravit novogoticky. Mezi lety 1903–1913 nechal princ Johann Schönburg-Hartenstein tyto novogotické prvky odstranit a nahradit je neorenesanční přestavbou podle projektu architekta Humberta Walchera z Moltheimu, která zámku dala jeho dnešní podobu.

Stavba má charakteristickou čtyřkřídlou dispozici kolem čtvercového nádvoří. Přístup vede po kamenném mostě, vstupní věž s barokním portálem z roku 1641 se nachází uprostřed severního křídla. Dnes je zámek přístupný veřejnosti. Hlavní prohlídková trasa trvá asi 50 minut a zahrnuje 16 pokojů, které představují způsob života šlechty v 19. a na počátku 20. století. Vedlejší trasa vedlejších pokojů trvá okolo 30 minut a obsahuje 9 místností, reprezentujících dětské pokoje.