DEFINING REPRODUCBIBILITY AND REPLICABILITY
A különböző tudományágak és intézmények a reprodukálhatóság és a megismételhetőség szavakat nem következetes vagy akár ellentmondásos módon használják: Amit az egyik csoport az egyik szó alatt ért, azt a másik csoport a másik szó alatt érti.4 Ezeket a kifejezéseket – és másokat, például a megismételhetőséget – régóta használják azzal az általános fogalommal kapcsolatban, hogy egy kísérlet vagy tanulmány megerősíti egy másik eredményeit. Ezen az általános fogalmon belül azonban nem alakult ki terminológiailag következetes módja a megkülönböztetésnek; ehelyett egymásnak ellentmondó és következetlen kifejezések virágoztak. A reprodukálhatóság és a megismételhetőség értékelésének nehézségeit bonyolítja e fogalmak egységes definícióinak hiánya.
Egyes területeken egyetlen fogalmat használtak az összes kapcsolódó fogalom lefedésére: például a “replikáció” történelmileg a politikatudományban minden aggályt lefedett (King, 1995). Számos környezetben a reprodukálható és a megismételhető kifejezéseknek különböző jelentése van, de a különböző közösségek ellentétes definíciókat fogadtak el (Claerbout és Karrenbach, 1992; Peng et al., 2006; Association for Computing Machinery, 2018). Egyesek olyan minősítő kifejezésekkel egészítették ki a lexikont, mint a módszerek reprodukálhatósága, az eredmények reprodukálhatósága és a következtetések reprodukálhatósága (Goodman et al., 2016). Különösen feszültség alakult ki az informatikában nemrégiben elfogadott használat és aközött, ahogyan más tudományágak kutatói ezeket az elképzeléseket évek óta leírják (Heroux et al., 2018).
A 90-es évek elején a kutatók a “reprodukálható kutatás” kifejezést olyan tanulmányokra kezdték használni, amelyek az elemzéseik reprodukálásához teljes digitális adat- és kódösszeállítást adtak, különösen a szeizmikus hullámfelvételek feldolgozásában (Claerbout és Karrenbach, 1992; Buckheit és Donoho, 1995). A hangsúlyt arra helyezték, hogy a számítógépes elemzés átlátható és dokumentált legyen, hogy azt más kutatók is ellenőrizhessék. Bár a reprodukálhatóságnak ez a fogalma meglehetősen különbözik azoktól a helyzetektől, amikor a kutató új adatokat gyűjt a korábbi eredmények vagy egy tudományos következtetés független ellenőrzésének reményében, egyes tudományterületek a reprodukálhatóság kifejezést használják erre a gyakorlatra. Peng et al. (2006, 783. o.) ezt a forgatókönyvet “megismételhetőségként” említette, megjegyezve: “A tudományos bizonyítékok megerősödnek, ha a fontos eredményeket több független kutató megismétli, független adatok, analitikai módszerek, laboratóriumok és műszerek felhasználásával”. Az e kifejezések használata körüli összefogásra irányuló erőfeszítések ellenére a konszenzus hiánya továbbra is fennáll a tudományágak között. Az ebből eredő zűrzavar akadályozza a reprodukálhatóság és a megismételhetőség javítása érdekében történő előrelépést (Barba, 2018).
A reprodukálhatóság és a megismételhetőség kifejezések használatáról szóló áttekintő tanulmányában Barba (2018) három használati kategóriát vázolt fel, amelyeket A, B1 és B2 kategóriaként jellemzett:
B1 és B2 ellentétben állnak egymással a tekintetben, hogy melyik kifejezés az eredeti szerzők digitális kutatási műtárgyainak újrafelhasználását (“kutatási kompendium”), és melyik az önállóan létrehozott digitális műtárgyakat foglalja magában. Barba (2018) adatokat gyűjtött össze e kifejezések használatáról különböző tudományágakban (lásd a 3-1. táblázatot).5
TABLE 3-1
Usage of the Terms Reproducibility and Replicability by Scientific Discipline.
Az Association for Computing Machinery (ACM) által az informatika számára elfogadott terminológia 2016-ban jelent meg a társaság által publikált cikkekhez csatolt jelvények rendszereként. Az ACM kijelentette, hogy definícióit a metrológiai szókincs ihlette, és az eredeti szerző digitális műtárgyainak felhasználását a “megismételhetőséghez”, teljesen új digitális műtárgyak kifejlesztését pedig a “reprodukálhatósághoz” társította. Ezek a terminológiai megkülönböztetések ellentmondanak a számítástechnikai tudományokban alkalmazott használatnak, ahol a reprodukálhatóságot az átláthatósággal és a szerző digitális műtárgyaihoz való hozzáféréssel társítják, valamint a társadalomtudományokban, a közgazdaságtanban, a klinikai vizsgálatokban és más területeken is, ahol a replikációs vizsgálatok új adatokat gyűjtenek az eredeti eredmények ellenőrzésére.
A használt konkrét terminusoktól függetlenül az alapul szolgáló fogalmak régóta alapvető szerepet játszanak minden tudományágban. Ezek a fogalmak szorosan kapcsolódnak a tudományos eredményekkel kapcsolatos következő általános kérdésekhez:
-
Az adatok és az elemzés kellő átláthatósággal és egyértelműséggel vannak-e lefektetve ahhoz, hogy az eredmények ellenőrizhetők legyenek?
-
Az ellenőrzés esetén az eredmény alátámasztására felajánlott adatok és elemzés valóban alátámasztják az eredményt?
-
Ha az adatok és az elemzés bizonyítottan alátámasztják az eredeti eredményt, a bejelentett eredmény újra megtalálható-e a vizsgált konkrét vizsgálati összefüggésben?
-
Végezetül, a közölt eredmény vagy a levont következtetés újra megtalálható a vizsgálati kontextusok szélesebb körében?
A számítástechnikai tudósok általában csak az első kérdés megválaszolására használják a reprodukálhatóság kifejezést – vagyis a reprodukálható kutatás olyan kutatás, amely ellenőrizhető, mivel az adatok, a kód és az elemzési módszerek más kutatók számára is rendelkezésre állnak. A reprodukálhatóság kifejezés a második kérdéssel összefüggésben is használható: a kutatás akkor reprodukálható, ha egy másik kutató ténylegesen felhasználja a rendelkezésre álló adatokat és kódot, és ugyanazokat az eredményeket kapja. Az első és a második kérdés közötti különbség egy másik kutató általi cselekvés; az első az adatok, a kód és az elemzési módszerek hozzáférhetőségére utal, míg a második az eredmények újraszámítására utal a rendelkezésre álló adatok, kód és elemzési módszerek felhasználásával.
Az első és a második kérdés megválaszolásához a második kutató az elsőtől származó adatokat és kódot használja; a második kutató nem hoz létre új adatokat vagy kódot. A reprodukálhatóság csak attól függ, hogy a számítógépes elemzés módszereit átláthatóan és pontosan jelentették-e, és hogy ezeket az adatokat, kódot vagy más anyagokat felhasználták-e az eredeti eredmények reprodukálásához. Ezzel szemben a harmadik kérdés megválaszolásához a kutatónak újra kell végeznie a vizsgálatot, a lehető legszorosabban követve az eredeti módszereket és új adatokat gyűjtve. A negyedik kérdés megválaszolásához a kutató többféle utat választhat: új elemzési feltételt választhat, ugyanazt a vizsgálatot új kontextusban végezheti el, vagy új vizsgálatot végezhet, amelynek célja ugyanaz vagy hasonló kutatási kérdés.
A jelentés céljaira és azzal a céllal, hogy e fogalmakat több tudományágban is alkalmazható módon határozza meg, a bizottság úgy döntött, hogy a második és a harmadik kérdés között különbséget tesz a reprodukálhatóság és a megismételhetőség között. Így a reprodukálhatóság magában foglalja azt, hogy egy második kutató újraszámolja az eredeti eredményeket, és kielégíthető az adatok, kódok és módszerek hozzáférhetőségével, amelyek lehetővé teszik ezt az újraszámítást. A reprodukálhatóságnak ez a meghatározása a számítások átláthatóságára és reprodukálhatóságára vonatkozik: vagyis szinonimája a “számítási reprodukálhatóságnak”, és ebben a jelentésben a kifejezéseket felváltva használjuk.
Ha egy új vizsgálatot végeznek és új adatokat gyűjtenek, amelynek célja ugyanaz vagy hasonló tudományos kérdés, mint egy korábbi, akkor azt replikációként definiáljuk. A replikációs kísérletet végezhetik ugyanazok a kutatók ugyanabban a laboratóriumban az eredeti eredmény ellenőrzése céljából, vagy végezhetik új kutatók új laboratóriumban vagy új környezetben, azonos vagy eltérő módszerek és elemzési feltételek alkalmazásával. Ha ez a második vizsgálat, amely ugyanarra a tudományos kérdésre irányul, de új adatokat gyűjt, konzisztens eredményeket talál, vagy konzisztens következtetéseket tud levonni, akkor a kutatás megismételhető. Ha egy második vizsgálat hasonló tudományos kérdést vizsgál, de más, az eredetitől eltérő környezetben vagy populációban, és konzisztens eredményeket talál, a kutatás “általánosítható”.6
Összefoglalva, a bizottság a különböző tudományos közösségek által használt fogalmak széles körű áttekintését követően e jelentéshez konkrét meghatározásokat fogadott el.
3-1. KÖVETKEZTETÉS: E jelentésben a reprodukálhatóság alatt a következetes eredmények elérését értjük ugyanazon bemeneti adatok, számítási lépések, módszerek és kódok, valamint elemzési feltételek alkalmazásával. Ez a meghatározás a “számítási reprodukálhatóság” szinonimája, és a kifejezéseket ebben a jelentésben felváltva használjuk.
A reprodukálhatóság az ugyanazon tudományos kérdés megválaszolására irányuló tanulmányok közötti konzisztens eredmények elérése, amelyek mindegyike a saját adatait szerezte meg.
Két tanulmány akkor tekinthető reprodukáltnak, ha a vizsgált rendszerben rejlő bizonytalansági szintre tekintettel konzisztens eredményeket kapnak. Azokban a vizsgálatokban, amelyek egy fizikai egységet (azaz egy mérendő mennyiséget) mérnek, az eredmények lehetnek ugyanazon mérendő mennyiség különböző laboratóriumok által végzett méréseinek halmazai. A szándékos beavatkozás vagy természeti esemény hatásának kimutatására irányuló vizsgálatokban az eredmények lehetnek az ugyanazon kérdés megválaszolására irányuló különböző vizsgálatokban talált hatások típusa és mérete. Általánosságban, amikor olyan új adatokat kapunk, amelyek egy olyan vizsgálat eredményeit képezik, amelynek célja ugyanannak a tudományos kérdésnek a megválaszolása, mint egy másik vizsgálaté, a két vizsgálat eredményeinek összhangja jelenti a megismételhetőség mértékét.
A tudományos eredmények megismételhetőségének két fontos korlátja a mérési pontosság korlátai és a tudományos vizsgálatban végzett módszerek és lépések néha finom eltérései miatt megváltozott eredmények lehetősége. Itt kifejezetten mindkettőt figyelembe vesszük, mivel mindkettő nagymértékben befolyásolhatja a tudományos tanulmányok megismételhetőségét.