Stavba se rozkládá v areálu Pražského hradu mezi ulicí Jiřskou a zahradou Na Valech a vypráví několik století česko-německé architektury. Její počátky sahají do renesance, kdy v roce 1513 získali pozemek rožmberští páni. Po požáru v roce 1541, který zdejší budovy ničil, nechali Rožmberkové postavit jednopatrový čtyřkřídlý arkádový palác s vchodovou branou orientovanou do Jiřské ulice. Stavbu zahájil kolem roku 1545 stavitel Hans Vlach, kterého nejméně si historie poznamenala pod jménem Giovanni Fontano di Brusata. Tento původní palác si na Pražském hradě uchováním svých základních konstrukcí přestál staletí.

V roce 1573 rozšířil Vilém z Rožmberka majetek o sousední domy a nechal je částečně zbořit a včlenit do komplexu. Stavitel Ulrico Aostalli provedl v letech 1573–1574 přestavbu paláce a doplnil jej o zahradu s ochozem a arkádami. Když v roce 1600 přešel palác do vlastnictví císaře Rudolfa II., podstoupil další metamorfózu – spojil jej dřevěnou chodbou na pilířích s Ludvíkovým křídlem Pražského hradu.

Transformace do baroko-klasicistní podoby začala v 20. letech 18. století, kdy stavitel Tomáš Haffenecker zvýšil palác o druhé patro a předělil jej vnitřními příčkami. V padesátých letech pak následovala radikální přestavba pro nový účel. Architekti Anselmo Lurago a Nicola Paccasio jej přebudovali na ústav šlechtičen podle představ císařovny Marie Terezie. Stavba byla teoreticky ukončena až v roce 1756, přestože se ústav otevřel již v roce 1755. Představenou instituce se stala arcivévodkyně Marie Anna, dcera samotné Marie Terezie. Budova sloužila jako výchovné zařízení pro mladé šlechtičny starší dvaceti čtyř let – sirotky mohly být přijaty již od osmnácti. První a druhé patro obsadily jejich obydlí, zatímco ostatní prostory zaujímaly apartmá abatyše, kaple, společenské místnosti a zázemí ústavu.

Další úpravy provedly v letech 1787–1788 pod vedením Františka Leonarda Hergeta. Ústav však zanikl po vzniku Československé republiky v květnu 1919, kdy ho převzalo Ministerstvo vnitra a přizpůsobilo si jej svým potřebám. Nádvoří se proměnilo v garáž s benzínovou pumpou.

V posledních dekádách došlo k důkladné rekonstrukci. Koncem dvacátého a začátkem jedenadvacátého století probíhala nákladná obnova budovy, kterou ukončili roku 2007. Od dubna 2010 je část objektu přístupná i veřejnosti – návštěvníci mohou vidět kapli Nejsvětější Trojice a Neposkvrněného početí Panny Marie nebo renesanční Rožmberský sál. Stavba si uchovala svou charakteristickou podobu protáhlého dvojtraktu se třemi po sobě jdoucími nádvořími, které se táhnou necelých 160 metrů podél klesající Jiřské ulice. Na severozápadním rohu stojí sloupový portikus s vyrytým nápisy připomínajícím přestavbu v roce 1755 a věnování Marie Terezie.