Karl Landsteiner syntyi Wienissä 14. kesäkuuta 1868. Hänen isänsä, oikeustieteen tohtori Leopold Landsteiner, oli tunnettu toimittaja ja sanomalehtien kustantaja, joka kuoli, kun Karl oli kuusivuotias. Karlin kasvatti hänen äitinsä Fanny Hess, johon hän oli niin kiintynyt, että Karlin seinällä roikkui hänen kuolinnaamionsa kuolemaansa asti. Koulun päätyttyä Landsteiner opiskeli lääketiedettä Wienin yliopistossa, josta hän valmistui vuonna 1891. Jo opiskeluaikana hän oli alkanut tehdä biokemiallisia tutkimuksia, ja vuonna 1891 hän julkaisi artikkelin ruokavalion vaikutuksesta veren tuhkan koostumukseen. Saadakseen lisää kemian tuntemusta hän vietti seuraavat viisi vuotta Hantzschin laboratorioissa Zürichissä, Emil Fischerin laboratorioissa Wurzburgissa ja E. Bambergerin laboratorioissa Münchenissä.
Palattuaan Wieniin Landsteiner jatkoi lääketieteen opintojaan Wienin yleisessä sairaalassa. Vuonna 1896 hänestä tuli Max von Gruberin assistentti Wienin hygieniainstituutissa. Jo tuolloin hän oli kiinnostunut immuniteetin mekanismeista ja vasta-aineiden luonteesta. Vuodesta 1898 vuoteen 1908 hän toimi assistenttina Wienin yliopiston patologisen anatomian laitoksella, jonka johtajana toimi professori A. Weichselbaum, joka oli löytänyt aivokalvontulehduksen bakteeriperäisen aiheuttajan ja Fraenckelin kanssa pneumokokin. Täällä Landsteiner työskenteli pikemminkin sairauden fysiologian kuin sairauden anatomian parissa. Weichselbaum rohkaisi häntä tähän, huolimatta muiden instituutin jäsenten kritiikistä. Vuonna 1908 Weichselbaum varmisti hänen nimityksensä Wienin Wilhelminaspitalin proviisoriksi, jossa hän toimi vuoteen 1919 asti. Vuonna 1911 hänestä tuli Wienin yliopiston patologisen anatomian professori, mutta ilman vastaavaa palkkaa.
Vuoteen 1919 mennessä, kahdenkymmenen vuoden patologisen anatomian parissa tekemänsä työn jälkeen, Landsteiner oli useiden yhteistyökumppaneidensa kanssa julkaissut monia artikkeleita löydöksistään sairaalloisen anatomian ja immunologian alalla. Hän löysi uusia tosiasioita syfiliksen immunologiasta, lisäsi Wassermannin reaktiota koskevaa tietämystä ja löysi immunologisia tekijöitä, joita hän nimitti hapteeneiksi (sittemmin kävi selväksi, että tässä reaktiossa käytetyissä normaaleista elimistä otetuissa uutteissa olevat aktiiviset aineet olivat itse asiassa hapteeneja). Hän antoi perustavanlaatuisen panoksen paroksismaalista hemoglobinuriaa koskevaan tietämykseemme.
Hän osoitti myös, että poliomyeliitin aiheuttaja voi tarttua apinoihin ruiskuttamalla niihin ainetta, joka oli valmistettu jauhamalla tähän tautiin kuolleiden lasten selkäydintä, ja koska hänellä ei ollut Wienissä apinoita lisäkokeita varten, hän lähti Pariisin Pasteur-instituuttiin, jossa apinoita oli saatavilla. Hänen siellä tekemänsä työ yhdessä Flexnerin ja Lewisin itsenäisesti tekemien töiden kanssa loi perustan tietämyksellemme poliomyeliitin aiheuttajasta ja immunologiasta.
Landsteiner teki lukuisia panostuksia sekä patologiseen anatomiaan, histologiaan että immunologiaan, jotka kaikki osoittivat hänen huolellisen tarkkaavaisuutensa havainnoinneissa ja kuvauksissa sekä hänen biologista ymmärrystään. Hänen nimeään tullaan kuitenkin epäilemättä aina kunnioittamaan hänen vuonna 1901 tekemänsä veriryhmien löytämisen ja veriryhmien parissa tekemänsä erinomaisen työn ansiosta, josta hänelle myönnettiin Nobelin fysiologian tai lääketieteen palkinto vuonna 1930.
Landois oli jo vuonna 1875 raportoinut, että kun ihmiselle annetaan verensiirtoja toisten eläinten verestä, nämä vieraat verisolut paakkuuntuvat ja hajoavat ihmisen verisuonten välissä vapauttaen samalla hemoglobiinia. Vuosina 1901-1903 Landsteiner huomautti, että samanlainen reaktio voi tapahtua, kun ihmisen verta ei siirretä toisen eläimen verellä vaan toisen ihmisen verellä, ja että tämä saattaa olla syynä sokkiin, keltaisuuteen ja hemoglobinuriaan, jotka olivat seuranneet eräitä aikaisempia verensiirtoyrityksiä.
Hänen ehdotuksiinsa kiinnitettiin kuitenkin vain vähän huomiota, kunnes hän vuonna 1909 luokitteli ihmisten veren nykyisin tunnettuihin A-, B-, AB- ja O-ryhmiin ja osoitti, että verensiirrot A- tai B-ryhmiin kuuluvien henkilöiden välillä eivät johda uusien verisolujen tuhoutumiseen ja että tämä katastrofi tapahtuu vain silloin, kun ihmiselle siirretään toiseen ryhmään kuuluvan henkilön verta. Landsteiner oli jo aiemmin, vuosina 1901-1903, ehdottanut, että koska veriryhmät määräävät ominaisuudet periytyvät, veriryhmiä voidaan käyttää epäilyttävän isyyden selvittämiseen. Suuri osa myöhemmästä työstä, jota Landsteiner ja hänen oppilaansa tekivät veriryhmien ja niiden immunologisten käyttötapojen parissa, ei tehty Wienissä vaan New Yorkissa. Vuonna 1919 Wienin olosuhteet olivat nimittäin sellaiset, että laboratoriotyöskentely oli hyvin vaikeaa, ja koska Landsteiner ei nähnyt Itävallalla olevan tulevaisuutta, hän sai nimityksen Haagin pienen roomalaiskatolisen sairaalan johtajaksi. Siellä hän julkaisi vuosina 1919-1922 kaksitoista artikkelia löytämistään uusista hapteeneista, proteiinikonjugaateista, jotka kykenivät aiheuttamaan anafylaksiaa, ja niihin liittyvistä ongelmista sekä eri eläinlajien hemoglobiinien serologisesta spesifisyydestä. Hänen työnsä Hollannissa päättyi, kun hänelle tarjottiin paikkaa New Yorkissa sijaitsevasta Rockefeller Institute for Medical Research -instituutista, jonne hän muutti perheensä kanssa. Siellä hän teki yhteistyössä Levinen ja Wienerin kanssa veriryhmien jatkotyöt, jotka laajensivat huomattavasti näiden ryhmien lukumäärää, ja täällä hän tutki yhteistyössä Wienerin kanssa vastasyntyneiden verenvuotoa, mikä johti veren Rh-tekijän löytämiseen, joka liittää ihmisen veren rhesusapinan vereen.
Elämänsä loppuun asti Landsteiner jatkoi veriryhmien ja veressä esiintyvien antigeenien, vasta-aineiden ja muiden immunologisten tekijöiden kemian tutkimista. Yksi hänen suurista ansioistaan oli se, että hän otti kemian käyttöön serologian palveluksessa.
Landsteiner oli itselleen asettamissaan vaatimuksissa tiukkapipo, ja hänellä oli väsymätöntä energiaa. Koko elämänsä ajan hän teki jatkuvasti havaintoja monilla muillakin aloilla kuin niillä, joilla hänen päätyönsä oli tehty (hän oli esimerkiksi vastuussa siitä, että hän otti käyttöön pimeäkenttävalaistuksen spirokeettojen tutkimuksessa). Luonteeltaan jokseenkin pessimistinen, hän asui mieluiten kaukana ihmisistä.
Landsteiner avioitui Helen Wlaston kanssa vuonna 1916. Tohtori E. Landsteinerilla on poika tästä avioliitosta.
Vuonna 1939 hänestä tuli Rockefeller-instituutin emeritusprofessori, mutta hän jatkoi työtään yhtä tarmokkaasti kuin ennenkin, pitäen innokkaasti yhteyttä tieteen edistykseen. Hänelle on tyypillistä, että hän kuoli pipetti kädessä. Kesäkuun 24. päivänä 1943 hän sai sydänkohtauksen laboratoriossaan ja kuoli kaksi päivää myöhemmin sen instituutin sairaalassa, jossa hän oli tehnyt niin merkittävää työtä.