Zámek Krásné Březno stojí v místě bývalého statku Březnice, který roku 1528 zakoupili saští rytíři z Bünau spolu s širším panstvím Blansko. Stali se zde významnými stavebateli – nejdříve Jindřich z Bünau v letech 1566 až 1568 postavil panský dům, z něhož se dodnes zachovaly sklepy pod severním křídlem pozdějšího zámku. Skutečný počátek dnešní stavby však datuje do let 1597 až 1603, kdy zde vyrostl Starý zámek v saské renesanční stylu, který se rozšířil ze staršího hospodářského křídla na dvoutrakt a o patro. Současně s ním vznikla kaple Panny Marie – nynější kostel svatého Floriána – která je se zámkem propojena průchodem-můstkem.

Ambice bünauské rodiny vedly ještě dál: do roku 1628 postavili Nový zámek na pravidelné čtyřkřídlé dispozici kolem čtvercového nádvoří, vybaveného charakteristickými válcovými věžicemi v rozích. Tato stavba měla dominantní postavení v krajině, avšak její majitelé se po porážce na Bílé hoře roku 1620 postupně vraceli do Saska. Následně zámek vlastnili Thun-Hohensteinové, pak hrabata z Althanu a od roku 1714 hrabata Cavriani. Právě Johann Ludwig Richard Cavriani v letech 1714 až 1724 nadělal zámku nynější podobu – jeho štít nese barokní patro, jehož krov byl dendrochronologicky datován právě na rok 1724. Úpravy začaly v kostele průrazem panské oratoře a pokračovaly zvýšením nového křídla.

Po roce 1754, kdy panství zakoupil hrabě Jan Hartig, zámek postupně měnil své využití. Na konci osmnáctého století jej v letech 1798 až 1805 upravili pro potřeby bydlení panských úředníků. Velkým zásahem byl rok 1849, kdy se v důsledku stavby železnice do Drážďan významně poškodia okolní barokní zahrada s jejími ozdobnými stavbami. Zbylá část zahrady byla převedena na anglický park, z něhož se dochoval již jen fragment. Roku 1897 se zámecká kaple stala farním kostelem svatého Floriána, čímž se upevnila její role v životě okolní komunity.

Po roce 1945 byl zámek zestátněn a v druhé polovině dvacátého století do roku 2002 v něm sídlilo výpočetní středisko Československých státních drah. Postupně upadl do velmi těžkého stavu a v devadesátých letech byl prakticky nevyužívaný a devastovaný. Zásadní obrat přinesl rok 2009, kdy započala rozsáhlá obnova, která trvala do roku 2011. V jejím důsledku bylo v zámku zřízeno sídlo územního odborného pracoviště Národního památkového ústavu, které zde sídlí dodnes. Kostel svatého Floriána prošel vlastní restaurací v letech 2011 až 2013, během níž byly obzvláště pečlivě ošetřeny jeho vzácné renesanční oltář s alabastrovými reliéfy. Poté byl veřejnosti zpřístupněn.

Architektonickým jádrem je právě ta čtyřkřídlá budova se čtvercovým nádvořím a válcovými věžicemi, jejíž dnešní podoba pochází z osmnáctého století. Nejstarší viditelnou součástí stavby zůstává západní křídlo mezi novým zámkem a kostelem – na jeho stěně nesou sluneční hodiny vročení 1603, které svědčí o době jeho vzniku. Nádvoří nového zámku, nyní zastřešené, slouží jako komunikační a výstavní prostor. Zámek tak představuje vzácný příklad českého stavitelství od doby renesanční přes baroko až do moderních dob, a jeho návštěva umožňuje lépe pochopit bohatou historii této části Ústí nad Labem.