Karl Landsteiner blev født i Wien den 14. juni 1868. Hans far, Leopold Landsteiner, der var doktor i jura, var en kendt journalist og avisudgiver, som døde, da Karl var seks år gammel. Karl blev opdraget af sin mor, Fanny Hess, som han var så hengiven til, at der hang en dødsmaske af hende på hans væg, indtil han døde. Efter at have forladt skolen studerede Landsteiner medicin ved universitetet i Wien og blev færdiguddannet i 1891. Allerede mens han studerede, var han begyndt at lave biokemisk forskning, og i 1891 offentliggjorde han en artikel om kostens indflydelse på blodaskens sammensætning. For at opnå yderligere viden om kemi tilbragte han de næste fem år i laboratorier hos Hantzsch i Zürich, Emil Fischer i Wurzburg og E. Bamberger i München.
Da Landsteiner vendte tilbage til Wien, genoptog han sine medicinske studier på Wiens almindelige hospital. I 1896 blev han assistent under Max von Gruber på hygiejneinstituttet i Wien. Allerede på dette tidspunkt var han interesseret i immunitetens mekanismer og i antistoffernes natur. Fra 1898 til 1908 var han assistent ved universitetsafdelingen for patologisk anatomi i Wien, hvis leder var professor A. Weichselbaum, som havde opdaget den bakterielle årsag til meningitis og sammen med Fraenckel havde opdaget pneumokokkerne. Her arbejdede Landsteiner med morbid fysiologi snarere end med morbid anatomi. I dette blev han opmuntret af Weichselbaum, på trods af kritik fra andre i dette institut. I 1908 sikrede Weichselbaum ham en ansættelse som prosektor på Wilhelminaspitalet i Wien, hvor han forblev indtil 1919. I 1911 blev han professor i patologisk anatomi ved universitetet i Wien, men uden den tilsvarende løn.
Frem til år 1919, efter tyve års arbejde med patologisk anatomi, havde Landsteiner sammen med en række samarbejdspartnere udgivet mange artikler om sine resultater inden for morbid anatomi og om immunologi. Han opdagede nye kendsgerninger om syfilis’ immunologi, supplerede sin viden om Wassermann-reaktionen og opdagede de immunologiske faktorer, som han kaldte haptener (det blev derefter klart, at de aktive stoffer i de ekstrakter af normale organer, der blev anvendt i denne reaktion, faktisk var haptener). Han ydede grundlæggende bidrag til vores viden om paroxysmal hæmoglobinuri.
Han viste også, at årsagen til poliomyelitis kunne overføres til aber ved at injicere dem materiale, der var fremstillet ved at kværne rygmarven fra børn, der var døde af denne sygdom, og da han ikke havde nogen aber i Wien til yderligere forsøg, tog han til Pasteur-instituttet i Paris, hvor der var aber til rådighed. Hans arbejde der, sammen med det arbejde, der uafhængigt af hinanden blev udført af Flexner og Lewis, lagde grunden til vores viden om årsagen til og immunologien ved poliomyelitis.
Landsteiner leverede talrige bidrag til både patologisk anatomi, histologi og immunologi, som alle viste ikke kun hans omhyggelige omhyggelighed i observation og beskrivelse, men også hans biologiske forståelse. Men hans navn vil uden tvivl altid blive hædret for hans opdagelse i 1901 af og fremragende arbejde med blodgrupperne, som han fik Nobelprisen i fysiologi eller medicin for i 1930.
I 1875 havde Landois rapporteret, at når mennesker får blodtransfusioner af andre dyrs blod, klumper disse fremmede blodlegemer sig sammen og opløses i menneskets blodkar med frigivelse af hæmoglobin. I 1901-1903 påpegede Landsteiner, at en lignende reaktion kan opstå, når blodet fra et menneske transfunderes, ikke med blodet fra et andet dyr, men med blodet fra et andet menneske, og at dette kunne være årsagen til chok, gulsot og hæmoglobinuri, som havde fulgt nogle tidligere forsøg på blodtransfusioner.
Hans forslag fik imidlertid kun lidt opmærksomhed, indtil han i 1909 inddelte menneskers blod i de nu velkendte A-, B-, AB- og O-grupper og viste, at transfusioner mellem individer fra gruppe A eller B ikke resulterer i ødelæggelse af nye blodceller, og at denne katastrofe kun opstår, når en person transfunderes med blod fra en person, der tilhører en anden gruppe. Tidligere, i 1901-1903, havde Landsteiner foreslået, at eftersom de egenskaber, der bestemmer blodgrupperne, er arvelige, kan blodgrupperne anvendes til at afgøre tilfælde af tvivlsomt faderskab. En stor del af det efterfølgende arbejde, som Landsteiner og hans elever udførte om blodgrupper og den immunologiske anvendelse af dem, blev udført ikke i Wien, men i New York. I 1919 var forholdene i Wien nemlig af en sådan art, at laboratoriearbejdet var meget vanskeligt, og da Landsteiner ikke så nogen fremtid for Østrig, fik han udnævnelse til prosektor på et lille romersk-katolsk hospital i Haag. Her offentliggjorde han i perioden 1919-1922 12 artikler om nye haptener, som han havde opdaget, om konjugater med proteiner, der kunne fremkalde anafylaksi, og om beslægtede problemer, samt om den serologiske specificitet af hæmoglobinerne hos forskellige dyrearter. Hans arbejde i Holland blev afsluttet, da han fik tilbudt en stilling på Rockefeller Institute for Medical Research i New York, og han flyttede dertil sammen med sin familie. Det var her, at han i samarbejde med Levine og Wiener udførte det videre arbejde med blodgrupperne, som i høj grad udvidede antallet af disse grupper, og her i samarbejde med Wiener studerede han blødninger hos nyfødte, hvilket førte til opdagelsen af Rh-faktoren i blodet, som relaterer det menneskelige blod til rhesusabens blod.
Til slutningen af sit liv fortsatte Landsteiner med at undersøge blodgrupper og kemien af antigener, antistoffer og andre immunologiske faktorer, der forekommer i blodet. Det var en af hans store fortjenester, at han indførte kemien i serologiens tjeneste.
Landsteiner var strengt krævende i de krav, han stillede til sig selv, og han besad en utrættelig energi. I hele sit liv gjorde han altid iagttagelser på mange andre områder end dem, hvor hans hovedarbejde foregik (han var f.eks. ansvarlig for at have indført mørkefeltbelysning i studiet af spirochaeter). Han var af natur noget pessimistisk og foretrak at leve langt væk fra mennesker.
Landsteiner blev gift med Helen Wlasto i 1916. Dr. E. Landsteiner har en søn af dette ægteskab.
I 1939 blev han emeriteret professor ved Rockefeller Institute, men fortsatte med at arbejde lige så energisk som tidligere og holdt sig ivrigt i kontakt med videnskabens fremskridt. Det er karakteristisk for ham, at han døde med pipetten i hånden. Den 24. juni 1943 fik han et hjerteanfald i sit laboratorium og døde to dage senere på hospitalet ved det institut, hvor han havde udført et så fornemt arbejde.