Druhé nádvoří patří mezi nejstarší části Pražského hradu a jeho historie úzce souvisí s vývojem celého hradního areálu. Přístupové cesty vedou od severu z Prašného mostu a od západu z I. nádvoří přes Matyášovu bránu. Odtud se procházíí na východ ke katedrále a dalším centrálním částem hradu na III. nádvoří. Vedlejší cesta z Hradčanského náměstí vede přes IV. nádvoří. Prostor dnešního nádvoří má dlouhou prehistorii, která se však neustále měnila a přetvářela.

V raném středověku se krajina nádvoří zásadně měnila. Původně jím probíhala vyvýšenina od západu k východu, jejíž poslední zbytky se dnes nacházejí pod Starým proboštstvím na III. nádvoří. Kolem 1. poloviny 9. století byl prostor nádvoří oddělen od osídlení na východě příkopem zhruba čtyři metry širokým a až dva metry hlubokým. Krátce poté se příkop přestal používat a osídlení se rozšířilo až k rokli, která tehdy na západní straně vymezovala okraj celého hradního areálu. Pravděpodobně mezi lety 882 a 884 byl v severozápadním koutu dnešního nádvoří postaven první pražský kostel Panny Marie. Za Spytihněva I. (895–915) bylo vybudováno valové opevnění a hrad rozdělen na západní předhradí a východní akropoli. Kostel byl v 11. století ještě přebudován, ale sakrální i světské centrum se postupně přesunulo na akropoli.

Ve vrcholném středověku se krajina opět změnila po zahájení výstavby románského hradu v roce 1135. Západní předhradí zůstalo mimo obvod kamenných hradeb. Bílá věž chránila jižní vstup do hradu, později byla přistavěna Biskupská věž. Přemysl Otakar II. vybudoval před románskou hradbou mohutný systém příkopů — jeden širký dvacet metrů a hluboký deset metrů, a západně od něj druhý devět metrů široký a šest metrů hluboký. Celé předhradí se tak stalo součástí mohutné fortifikace.

Zásadní oživení přišlo v renesanci. Za Ferdinanda I. vznikl severní hradní vstup přes Prašný most, který spojoval hrad s nově budovanou Královskou zahradou. Rozhodující proměna byla provedena za Rudolfa II. Vznikl palác na jižní straně nádvoří, který navazoval na další reprezentativní budovy. Na severní straně Rudolf II. nechal vybudovat unikátní koňské stáje o kapacitě údajně kolem 226 koní. Nad stanicemi byly vytvořeny dva výstavní sály — větší západní pinakotéka pro obrazy a menší glyptotéka pro sochy. Jižní a severní křídlo spojovala chodba podél západní strany románské hradby, která sloužila jako galerie Rudolfových sbírek.

Dnešní podobu nádvoří však určila přestavba v 18. století, která přinesla uniformní fasády. Po vzniku republiky následovaly jen menší úpravy související s adaptací budov pro výstavní a státní účely. Také barokní Kohlova kašna a kaple sv. Kříže, které do prostoru nádvoří vystupují, dodávají nádvoří jeho charakteristickou tvář.