DEFINING REPRODUCIBILITY AND REPLICABILITY
異なる科学分野や機関では、再現可能性や複製性という言葉が矛盾した仕方で使われていることさえあります。 あるグループがある言葉で意味することは、他のグループが別の言葉で意味することです。4 これらの用語、および反復性などの他の用語は、ある実験や研究が別の実験や研究の結果を確認するという一般的な概念に関連して、長い間使用されてきました。 しかし、この一般的な概念の中で、用語的に一貫した区別の方法は生まれておらず、その代わりに、相反する、矛盾した用語が繁栄してきました。 再現性と複製可能性を評価することの難しさは，この用語の標準的な定義がないために複雑化している。
分野によっては，一つの用語がすべての関連概念をカバーするために使われてきた。例えば，「複製」は歴史的に政治科学のすべての関心をカバーしてきた（King, 1995）。 多くの設定において、再現可能および複製可能という用語は明確な意味を持ちますが、異なるコミュニティは反対する定義を採用しました（Claerbout and Karrenbach, 1992; Peng et al, 2006; Association for Computing Machinery, 2018）。 方法再現性、結果再現性、推論再現性などの修飾語を辞書に追加したものもある（Goodman et al.、2016）。 特に、コンピュータサイエンスで最近採用された用法と、他の科学分野の研究者が長年にわたってこれらのアイデアを表現してきた方法との間に緊張が生じている（Heroux et al., 2018）。
1990年代初頭、研究者は、特に地震波記録の処理において、分析を再現するためのデータとコードの完全なデジタル大要を提供する研究について「再現性研究」という言葉を使い始めた（Claerbout and Karrenbach, 1992;Buckheit and Donoho, 1995）。 計算機による解析が透明で、他の研究者が検証できるように文書化されることが重視された。 この再現性の概念は、研究者が以前の結果や科学的推論を独自に検証することを目的として新しいデータを収集する場合とはまったく異なりますが、一部の科学分野では、この実践を指して再現性という用語が使用されています。 Pengら（2006, p.783）は、このシナリオを「再現性」と呼び、次のように述べている。 “重要な結果が、独立したデータ、分析方法、実験室、機器を用いて、複数の独立した研究者によって再現されるとき、科学的証拠は強化される”。 これらの用語の使用についてまとまろうとする努力にもかかわらず、分野間のコンセンサスの欠如は続いている。 その結果生じる混乱は、再現性と複製可能性を改善するために前進する障害となっています（Barba、2018）
再現性と複製可能性という用語の使用に関するレビュー論文で、Barba（2018）は、A、B1、B2として特徴づけられる3種類の使用法のカテゴリーを説明しました：
B1 とB2 は、どちらの項が原著者の研究のデジタル成果物（「研究大要」）の再利用を伴うか、どちらが独立して作成したデジタル成果物を伴うかに関して、互いに対立しているのである。 Barba（2018）は、さまざまな分野にわたるこれらの用語の使用状況に関するデータを収集しました（表3-1参照）5
TABLE 3-1
Usage of the Terms Reproducibility and Replicability by Scientific Discipline.5
コンピュータサイエンスについてACM（Association for Computing Machinery）が採用した用語は、同学会が発行する論文に付けるバッジのシステムとして2016年に発表されました。 ACMはその定義が計量学の語彙に触発されたと宣言し、原著者のデジタル成果物を使用することを “複製可能性”、全く新しいデジタル成果物を開発することを “再現性 “と関連づけた。 これらの用語上の区別は、再現性が著者のデジタル成果物への透明性とアクセスと関連付けられる計算科学での使用と矛盾しており、また社会科学、経済学、臨床研究、およびその他の領域では、再現研究が元の発見を検証するために新しいデータを収集します。 これらの概念は、科学的結果に関する以下の一般的な質問と密接に関連しています：
-
データと分析は、結果を確認できるよう、十分な透明性と明確性を持ってレイアウトされているか？
-
確認した場合、結果を裏付けるために提供したデータと分析が、実際にその結果を支えているか？
-
データと分析でオリジナルの結果が支持されていた場合、調査した特定の研究状況において、報告した結果を再び見出すことが可能か？
最初と最後の質問に答えるために、2番目の研究者は最初の研究者のデータとコードを使用しますが、新しいデータやコードは作成されません。 再現性は、計算解析の方法が透明かつ正確に報告されたかどうか、そしてそのデータ、コード、または他の資料が元の結果を再現するために使用されたかどうかにのみ依存します。 一方、質問3に答えるには、研究者は研究をやり直し、元の方法にできるだけ忠実に従い、新しいデータを収集しなければならない。
本報告書の目的のため、また複数の科学分野にわたって適用できる方法でこれらの用語を定義する目的で、委員会は第2と第3の質問の間に再現性と複製性の区別を引くことにした。 したがって、再現性には、第二の研究者が元の結果を再計算する行為が含まれ、その再計算を可能にするデータ、コード、方法が利用可能であれば満足することができます。 この再現性の定義は、計算の透明性と再現性を意味する。つまり、「計算再現性」と同義であり、この報告書ではこの用語を互換的に使用している。 再現の試みは、元の結果を検証するために同じ研究者が同じ研究室で行うこともあれば、新しい研究者が新しい研究室や状況で、同じまたは異なる方法や分析条件を使って行うこともある。 同じ科学的疑問を持ち、新しいデータを収集した2回目の研究で、一貫した結果が得られたり、一貫した結論が得られたりした場合、その研究は再現可能であると言えます。 結論3-1：本報告書では、再現性とは、同じ入力データ、計算手順、方法、コード、および解析条件を用いて一貫した結果を得ることである。 この定義は「計算再現性」と同義であり、本報告書ではこの用語を互換的に使用しています。
再現性とは、それぞれが独自のデータを取得し、同じ科学的疑問に答えることを目的とした研究間で一貫した結果を得ることです。
研究中のシステムに固有の不確実性のレベルを考慮して一貫した結果を得る場合、二つの研究は再現性があるとみなされるかもしれません。 物理的実体（すなわち、測定対象）を測定する研究では、結果は異なる研究室によって得られた同じ測定対象の測定値の集合である可能性があります。 意図的な介入や自然現象の影響を検出することを目的とした研究では、結果は、同じ質問に答えることを目的とした異なる研究で見つかった効果の種類と大きさである可能性があります。 一般的に、別の研究と同じ科学的疑問に答えることを目的とした研究の結果を構成する新しいデータが得られたときはいつでも、2つの研究からの結果の一貫性の程度がその再現性の程度を構成する。
科学的結果の再現性に対する2つの重要な制約は、測定精度の限界と科学研究で実施される方法と段階での時には微妙な変動による結果の変更の可能性にある。 それぞれ科学的研究の再現性に大きな影響を与える可能性があるため、ここではこの2つを明示的に考察している
。