Tento kostel má hlubší historii, než by člověk čekal od stavby vzniklé v 70. letech 18. století. Poprvé se o farnosti v Srbské Kamenici zmiňuje soupis českých farností z roku 1352. Původní kostel se zřejmě nacházel na místě dnešního hřbitova; kdy vznikl a jak přesně vypadal, není známo. Jednalo se zřejmě o dřevěnou stavbu. V čase reformace (1568–1630) sloužil luteránům. Poslední luteránský pastor Jakob Jüngling údajně při opuštění obce odnesl písemné záznamy, nové zápisy se proto datují až rokem 1635. Od roku 1630 byla farnost součástí česko-kamenické farnosti a obnovena jako samostatná teprve v roce 1856.

V roce 1760 měla farnost kolem 1 700 farníků. Stávající kostel již nepostačoval kapacitě rostoucí obce, která zahrnovala i Všemily a Jetřichovice. Bylo třeba postavit chrám nový a větší. Základní kámen pro nový kostel byl položen 15. července 1772. Stavbu vedl stavitel Wilhelm Sauer podle plánů J. W. Kosche a trvala čtyři roky. První mše svatá se v něm konala na svátek sv. Václava, 28. září 1776, a slavnostní vysvěcení se uskutečnilo 20. října 1776. Výstavba si vyžádala značné prostředky – náklady dosáhly 20 tisíc zlatých. V roce 1785 byl do kostela instalován rokokový oltář z pražského paulánského klášterního kostela Nejsvětějšího Salvátora (dnes evangelický chrám severně od Staroměstského náměstí). Protože byl oltář příliš vysoký pro prostory kostela, byl jeho nástavec se zpodobněním Svatého Ducha umístěn nad sakristií. Titulní obraz pochází z roku 1881 a je dílem malíře Karla Javůrka.

Během 19. století se vybavení kostela postupně doplňovalo: v roce 1864 byla vystavěna fara (která se zachovala dodnes), v roce 1874 pak ohradní zeď hřbitova. V roce 1886 byla věž vysoká 34 metrů opatřena hromosvodem. Po druhé světové válce a vysídlení německého obyvatelstva však chrám postupně chátral. Až teprve po pádu komunismu se podnikly rozsáhlé restaurační práce. V letech 1992 až 1995 byl kostel opraven a 23. září 1995 jej požehnal litoměřický biskup Josef Koukl. K dalšímu vybavení přispěly nové zvony, které byly 20. září 2003 požehnány generálním vikářem Karlem Havelkou – zvony sv. Václava a Srdce Ježíšova. Byly pořízeny s podporou Česko-německého fondu budoucnosti, darů rodáků z Německa a družební farnosti Karbach. Nyní znějí společně se zvonem z roku 1683 každý den.

Architektonicky jde o jednolodní obdélnou stavbu s obdélným presbytářem polokruhem ukončeným a sakristií na jižní straně. V patře nad sakristií se nachází oratoř. Dominantou je hranolová věž v západním průčelí, které je typicky pozdně barokní – zvlněné a odstupňované. Boční stěny člení čabrakové pilastry a okna kasulových tvarů. Interiér zdobí rokokový hlavní oltář s bohatou sochařskou výzdobou a rokoková kazatelna se reliéfem Krista-Dobrého pastýře a sochou Mojžíše. Oba tyto kusy pocházejí z pražských paulánských chrámů. Křtitelnice pochází z roku 1736. Varhanní vybavení tvoří dvě klasicistní mechanické nástroje – větší na kruchtě a menší na boční oratoři, které se využívají při pořádání každoročního hudebního festivalu Srbskokamenické kulturní léto.

Kostel patří do státního seznamu kulturních památek a slouží věřícím i jako kulturní centrum. Poblíž vchodu stojí obnovená barokní vodní nádrž se sochou sv. Petra, která pochází z kostela sv. Petra a Pavla v nedaleké Růžové. Na skále pod hřbitovem se dochoval reliéf Korunování Panny Marie z roku 1701.