Na jižní straně náměstí Republiky, proti Obecnímu domu, se nachází historický areál složený z bývalého kláštera a sousedního domu U Hybernů, který dříve sloužil jako chrám. Jejich počátky sahají do roku 1355, kdy nechal císař Karel IV. založit na tomto místě benediktinský klášter ambroziánského ritu se gotickým kostelem sv. Ambrože.

V husitských válkách utrpěl klášter značné škody a mniši uprchli. K jeho obnově, byť v menším rozsahu, došlo za Jiřího z Poděbrad. Zásadní obrat přinesl rok 1629, kdy udělil císař Ferdinand II. povolení irským františkánům, aby zde založili svůj klášter. Postupně vykupovali okolní nemovitosti a mezi lety 1641 až 1654 vystavěli nový klášter. Zároveň od roku 1653 probíhala stavba nového barokního kostela Neposkvrněného početí Panny Marie podle návrhů architekta Carla Luraga, který se sám podílel na stavbě. Poprvé je zaznamenáno, že františkáni v klášterní zahradě na počátku 18. století pěstovali brambory – údajně jako první v Čechách.

Osvícenství přineslo konec klášterního života. Roku 1786 byl klášter zrušen v rámci církevních reforem císaře Josefa II. Dne 12. září 1787 byl komplex vyklizen a převeden pod vojenský erár. Generálmajor Andreas von Heillmann vypracoval plán na stavební přestavbu, kterou však armáda z finančních důvodů neuskutečnila.

V následujícím období došlo k radikální transformaci. V roce 1806 byl kostel odsvěcen a jeho charakteristická barokní věž s bání zbourána. Následně byla v letech 1808–1811 budova kláštera a do roku 1813 také kostel přestavěny na celní úřad. Přestavba silně zasáhla do jejich vzhledu. Klášter obdržel jednoduché, pravidelně členěné fasády. Budova kostela se změnila v klasicistní stavbu – zbavena byla své barokní štukové dekorace a získala nový portál s masivními dórskými sloupy. Na průčelí se dosud zachází zlacený nápis se jménem císaře Františka I. a letopočtem 1811, připomínající otevření celnice.

Klášterní knihovna měla nezanedbatelný obsah. Obsahovala část sbírky bratří Ignáce Karla a Václava Vojtěcha ze Šternberka. Václav Vojtěch věnoval knihovně další cennou literaturu. Dne 12. června 1724 se františkáni dohodli s pražskou univerzitou, že polovina inventáře se stane majetkem univerzity, zvláště pak spisy s právnickou a lékařskou tematikou. Sbírka se tak stala základem obnovené knihovny Univerzity Karlovy, kterou univerzita převzala po zrušení kláštera.

V 20. století byla budova kostela znovu přestavěna v letech 1938–1949 na výstavní síň, která svému účelu sloužila až do roku 1991. V současnosti se připravují zásadní změny. Budova kláštera byla v roce 2015 prodána v aukci a v roce 2025 zahájil nový majitel její transformaci na kancelářské a obchodní centrum. Stejná společnost v roce 2025 zakoupila také sousední dům U Hybernů. Stavební práce by měly být ukončeny v roce 2027.