Rodil se je v Arnačah pri Velenju v župniji sv. Ilja (Šentilj pri Velenju). Po osnovni šoli je obiskoval gimnazijo v Celju in Mariboru, kjer je leta 1909 maturiral, nato pa v letih 1909 do 1913 v Gradcu in na Dunaju študiral primerjalno jezikoslovje. Po končanem študiju se je od 1913 do 1914 izpopolnjeval v Sanktpeterburgu v Rusiji ter leta 1914 tudi v Britanskem muzeju v Londonu. Začetek 1. svetovne vojne je dočakal v Londonu. Kot avstrijskega državljana so ga Angleži za eno leto konfinirali. V konfinaciji je moral opravljati razna težaška dela, med drugim je v ročnem mlinu mlel žito, kar je bilo za Oštirja zelo naporno, saj je bil majhne in drobne postave. 1915 so ga Angleži ravno zaradi njegove postave vrnili v Avstrijo, kjer pa so ga kljub vsemu takoj mobilizirali v avstro–ogrsko vojsko. Najprej je kot navaden vojak čistil vojaško sodišče v Gradcu, nato so ga kazensko premestili na soško fronto, tu pa se je bolj kot s puško ukvarjal s slovarjema, ki ju je nosil v svojem nahrbtniku.

1919 je Karel Oštir v Gradcu doktoriral z disertacijo o izvoru indoevropskega dolgovokalnega intranzitiva (neprehodni glagoli). Po doktoratu se je študijsko izpopolnjeval še na Dunaju, leta 1922 pa na Filozofski fakulteti v Ljubljani postal docent za primerjalno indoevropsko jezikoslovje. Že leta 1924 je postal izredni, 1932 pa redni univerzitetni profesor Filozofske fakultete in bil v letih 1933–1934 njen dekan. Januarja 1944 se je na poslopje Narodne in univerzitetne knjižnice v Ljubljani zrušilo nemško vojaško letalo in poškodovalo njen južni trakt, v požaru, ki je zajel tudi knjižnico Oštirjevega seminarja, pa je zgorel njegov rokopis primerjalnega slovarja alarodskih jezikov. Izguba rokopisa ga je močno potrla, saj je v plamenih izginil velik del njegovega znanstvenoraziskovalnega dela.

Na filozofski fakulteti je bil aktiven predavatelj do leta 1959. 

V svojih zgodnjih delih se je dr. Karel Oštir največ ukvarjal z indoevropskim primerjalnim jezikoslovjem, predvsem etimologijo (nauk o izvoru in prvotnem pomenu besed) in glasoslovjem. Mednarodno je priznan kot eden od pionirjev laringalne teorije. Pretežni del Oštirjevega znanstvenoraziskovalnega dela pa je posvečen alarodskim jezikom, tj. istorodnim jezikom ljudstev na ozemlju, ki so ga pozneje zasedla indoevropska ljudstva.

Dr. Karel Oštir, ki je sooblikoval slovensko jezikoslovje svojega časa, je svetovno priznani lingvist, saj so njegovo velikansko erudicijo večkrat poudarjali tudi številni mednarodni strokovnjaki. Vsa svoja znanstvena dela - 2 knjigi in 28 razprav - je objavil do leta 1930, po tem pa ni več objavljal.

Leta 1953 je bil Oštir izvoljen za rednega člana Slovenske akademije znanosti in umetnosti, a je 1958 iz nje izstopil.