Kostel Navštívení Panny Marie (původně zvaný Kostel narození Panny Marie) je jedním z nejstarších stavebních artefaktů Svitav. Vznikl v romanském slohu okolo roku 1250 jako jednolodní chrám se dvěma postranními kaplami v době, kdy se území začínalo osidlovat převážně německými usedlíky. Kostel se stal významným duchovním střediskem tehdejší německé komunity.

Středověká minulost přinesla kostelu vážné zkoušky. Během husitských válek zde sídlila litomyšlská biskupská kapitula, chrám se tak stal centrem duchovního života. V roce 1424 však husité město vydrancovali a kostel značně poničili. Obnovu iniciovali svitavští měšťané spolu s premonstrátským řádem, který se zde usídlil. Premonstráti v kostele zůstávali následující století, až do roku 1554, kdy zemřel jejich poslední místní farář. Správu chrámu poté převzali diecézní kněží.

V 18. století přišla kostelu další zásadní změna. V roce 1781, po velkém požáru, který postihol město, byl kostel zcela přestavěn do barokního slohu, který nese dodnes. Postupem času si kostel vytvořil i nová jména: z původního Kostela narození Panny Marie se přes Mariánský kostel a Kostel Naší milé Paní stal dnešní Kostel Navštívění Panny Marie.

Cennou součástí interiéru jsou varhany. Původní nástroj vystavěl v roce 1798 stavitel Ignaz Staudinger. Na konci 19. století, když se ukázalo, že jsou varhany ve velmi špatném stavu, byly v roce 1893 nahrazeny novými z dílny Karla Neussera. Staré Staudingerovy varhany přešly do kostela sv. Josefa, kde zůstaly až do roku 1936, kdy je nahradily varhany firmy Rieger. Dnešní Neusserův nástroj má dva manuály s celkem 23 rejstříky, v pedálu dalších 9, dvě volné kombinace, žaluzie a crescendující válec. Varhany se pravidelně používají při bohoslužbách.

Novější doba přinesla kostelu obnovu. V letech 1993–1994 proběhla generální oprava, která zahrnula odvlhčení zdivu, novou omítku, opravu slunečních hodin a výměnu krytiny za bonský šindel. Dřevěná konstrukce střechy byla restaurována, vnitřek vymalován a položena nová dlažba. Obrazy Křížové cesty byly uspořádány, nástropní malby částečně restaurovány. Kostel tak nadále slouží jako důležité místo bohoslužeb i jako součást architektonického dědictví Svitav.