Historie kostela sv. Prvního zmiňuje nepřímé zmínky a významný okamžik nastal v roce 1285, kdy Buková darovala právo patronátu kostela s farou u kláštera v Doubravníku. V té době Olší patřily dva dvory a faře bývalo často i více kněží. Teprve v roce 1784 byla obnovená samostatná fara a zřízena samostatná duchovní správa, přičemž děkanství původně stálo v Lomnici a později v Dolních Loučkách.
Současný vzhled kostela pochází z 15. století; v pozdějších letech byl však zcela přestavěn. Kostel patří k památkově nejhodnotnějším stavbám regionu a charakterizuje ho orientovaný jednolodní půdorys s pravoúhlým závěrem, věž nad rohem a boční kaple na jižní straně. Hlavní loď je kryta sedlovou střechou, presbytář je křížově sklenutý hrubými hranolovými žebry, vnitřní prostor působí díky světlému systému osvětlení prostorně.
V průběhu 15. až 20. století proběhly četné úpravy: hlavní oltář byl zasvěcen sv. Jiří, levý boční oltář sv. Barbory, pravý boční oltář sv. Cyrila a Metoděje; v roce 1885 byl pořízen nový obraz a mramor nahrazena původní dlažba. Došlo k úpravám venkovního schodiště, kůr byl opraven a k věži byla připojena její část. Dřevěná socha Božího hrobu zhotovená sochařem Rudolfem Věvodou z Brna stojí za 784 korun.
Na počátku 20. století byl zakoupen pozemek pro nový hřbitov (1903 evidován), v 19. a 20. století pokračovaly úpravy a nákupy, včetně křížové cesty v roce 1935 a nového osvětlení a sakristie. Elektrické rozvody a úpravy vnitřních prostor doplnily exteriérové práce: odstranění staré omítky a nahrazení novou, kovová mříž k hlavnímu vchodu a na kůr v nákladech cca 40 000 Kč. Dva menší zvony byly v roce 1910-1942 vyřazeny pro válečné účely.
Architektura kostela kombinuje lidový výraz dřevěných došek a podsebití vstupní části s hladkými fasádami a odstupňovanými opěrnými pilíři; interiér je osvětlen světlým systémem a působí prostorně. Zvnějšku vynikají dřevěné došky a podsebití vstupní části; samotná věž je hranolová a sakristie se nachází u severního průčelí. Orientovaný jednolodní objekt s pravoúhlým závěrem dodnes vypovídá o historickém vývoji regionu, kde liturgické uspořádání odpovídá tradičnímu moravskému kostelu.
Historické souvislosti a farní život ukazují na postupnou integraci Olše do síťě kolem doubravnické fary: od roku 1650 byla Olší filiálkou, roku 1660 součástí farnosti Dolní Loučky a v letech 1691 patřilo Olší k farnostem spolu s Pavlovicemi, Drahonínem, Litavou, Stříteží a Boru. Desátek a poplatky za plody svědčí o hospodářském a církevním závazku vůči farnosti. Až v roce 1784 došlo k samostatné správě, což umožnilo rozsáhlejší rekonstrukce a údržbu kostela jako kulturního a duchovního bodu regionu.
- 1285 - Dar patronátního práva u klášera Doubravník a existenci dvou dvorů v Olši.
- 1784 - Obnovení samostatné fary a zřízení duchovní správy; počátek samostatného diecézního působení.
- 19. století - Pořízení nových varhan, rozšíření venkovního schodiště, opravy kůru a věže.
- 1885-1889 - Zakoupení obrazu, nahrazení dlažby mramorem; opravy interiéru a exteriéru.
- 1903 - Evidován nový hřbitov; pozemky a majetek pro potřeby fary.
- 1935 - Pořízení křížové cesty; modernizace osvětlení a sakristie.
