Klementinum má svůj název podle původně románského kostela sv. Klimenta, který je poprvé zmíněn v roce 1227. V tomto roce se podle Dalimilovy kroniky přestěhovali dominikáni od stejnojmenného kostela Na Poříčí a vybudovali v místě klášter, který se záhy stal jednou z nejdůležitějších církevních institucí v Čechách. Zde vznikla řádová škola, která po založení Karlovy univerzity získala statut generálního studia a v roce 1248 se tu konala kapitula řádové provincie.

Klášterní budovy sloužily nejen modlitbě, ale také státním záležitostem. Refektář o rozmezích přibližně 37 krát 10 metrů hostil slavnostní zasedání městské rady, soudy a významná politická jednání. Roku 1281 se tu sešli zástupci české šlechty pod vedením pražského biskupa Tobiáše z Bechyně, aby jednali o nápravě poměrů v království po smrti Přemysla Otakara II. O 36 let později, roku 1317, zde probíhaly mírové rozhovory mezi stranami královny Elišky Přemyslovny a Jindřícha z Lipé. Klášter měl tudíž mimořádný politický i duchovní vliv. Na počátku 15. století jej údajně obývalo až 120 kněží a 30 konvršů.

Husitské reformace a následující války znamenaly konec klášterní slávy. Dne 8. srpna 1420 byl Klementinum vypálen a dominikáni, kteří se nezachránili, povražděni. Věž kostela se zřítila v roce 1467, načež zbylí bratři odešli do Plzně a Českých Budějovic. Obnova byla jen částečná – klášterní majetek se rozprodával soukromníkům. Když se jej v roce 1496 pokusil oživit český král Vladislav II. povolením dominikánů z Polska, přišlo již příliš pozdě. Kolem roku 1552 v areálu zůstal jen převor a dva bratři.

Klášter se v roce 1554 znovu oživil příchodem jezuitů. Budoucí pražský arcibiskup Antonín Brus z Mohelnice a císař Ferdinand I. si vyžádali Tovaryšstvo Ježíšova od Ignáce z Loyoly. Strategicky výhodné místo u paty Karlova mostu a při hlavní cestě mezi Pražským hradem a Staroměstským náměstím bylo vybráno pro první a nejvýznamnější sídlo české jezuitské provincie. Petr Canisius, řádový představitel, toto místo vybral již v roce 1555.

Dnes Klementinum patří mezi národní kulturní památky České republiky. Areál spravuje Národní knihovna České republiky, která zde má své sídlo. Komplexem také prochází nejdelší kontinuální řada meteorologických pozorování v Evropě – systematická měření se tu provádějí od roku 1775 a poskytují neocenitelné údaje pro výzkum klimatu střední Evropy.