「再現不可能性」：統一された定義がないことが問題？

再現不可能性(または非再現性)は、近年の科学においてもっとも厄介で懸念すべき問題だという見方が急速に強まっています。ネイチャー誌ではこの問題に関する研究者の見方を知るためのアンケートを実施しました。その結果によると、研究者の多くは「再現可能性の危機は深刻である」という意見を持っていることが分かりました。また、危機が存在するものの、その解決を探ることは困難だと考えていることも分かりました。その主な理由は、「再現可能性」もしくは「再現性」という言葉に統一された定義がないためです。再現可能性にはさまざまな意味があてられており、ときには矛盾も見られます。米国国立医学図書館(National Library of Medicine, NLM)が主催した会議では、前臨床研究で再現可能性を改善する方法が議論されましたが、再現可能性の意味を理解しないままこの問題に対処するのは難しいという結論が下されました。

「再現可能（‘reproducible’）」と「反復可能（‘replicable’）」という言葉は、しばしば入れ替えが可能であるかのように使われています。再現可能とは、異なった分析を適用しても同じ結果が出せることを指しますが、反復可能とは、同じもしくは新しい生データを利用して同じ結果が出るように試してみること（追試）を意味します。実際、科学者たちの間でも、これらの言葉の意味合いに対する理解は異なっています。

これを分かりやすく解説しようと、研究者たちは、総称として広く使われている「再現可能性」と「反復可能性」という言葉の定義を提案しました。論文「What does research reproducibility mean?(研究の再現可能性とは何か？)」の筆頭著者であるスティーブン・グッドマン( Steven Goodman )氏は、これらの言葉を以下の定義によって区別することを提案しています。
 

• 方法の再現可能性
  (Methods reproducibility)は、反復可能性にもっとも近い。研究方法とデータに関する十分な情報が提供され、同じ手順を反復できるようになっていることを意味する。
• 結果の再現可能性(Results reproducibility)は、「方法の再現可能性」と密接に関連している。「元の実験と可能な限り同じ手順で、独立した実験を実施し、同じ結果を得ること」を意味する。
• 推論の再現可能性(Inferential reproducibility)は、先の2つの再現可能性とは異なる。別の研究から同じ推論が導かれることもあれば、同じデータから別の結果が推測されることもある。このため、推論の再現可能性とは「独立した再現実験もしくは元の研究の再分析から、質的に類似した結果を導くこと」を意味する。

再現可能性の定義の標準化を試みたもう1つの例として、イリノイ大学アーバナ・シャンペーン校のデータ科学者であるビクトリア・ストッデン(Victoria Stodden)氏の案が有名です。彼女が提案する再現可能性の分類は以下のとおりです。
 

• 実証的再現可能性(Empirical reproducibility)は、物理的に実験を繰り返して実証する必要なすべての情報が提供されていることを意味する。この定義は、グッドマン氏の「方法の再現可能性」の定義に近い。
• 計算／統計的再現可能性(Computational and statistical reproducibility)は、研究における計算結果や分析結果を再び行うために欠かせないリソースが提供されていることを意味する。

米メリーランド州ベセスダのアメリカ細胞生物学会(American Society for Cell Biology )に所属する研究者グループはある論文で、再現可能性(reproducibility)という言葉を避け、代わりに「replication(反復、追試、繰り返し)」の4分類を用いることを提唱しました。
 

• 分析的反復(Analytic replication)：単に元データを再分析して結果を再現すること。
• 直接的反復(Direct replication)：元の実験と同じ条件、材料、方法を利用しようとすること。
• 体系的反復(Systematic replication)：異なる実験条件で結果を再現しようとすること。（例えば、異なる細胞株やマウス株で実験を行うことなど。）
• 概念的反復(Conceptual replication )：ある概念の一般的な正当性を示そうとすること。異なる有機体を使用する場合も含まれる。
   

再現可能性の正確な意味をこれと決めることが難しいのは明らかです。分野やテーマ、さらには個人の見解によっても異なる場合があるためです。再現不可能性の中心には複数の問題があります。例えば、透明性の欠如、十分な訓練を積んでいない研究者が複雑な実験の再現を試みる、方法に関する情報が不完全、といった事柄です。反復もしくは再現が難しいとされる研究に特有の問題を特定すること、それと同時に、反復もしくは再現の背後にある目的を見定めることが、これらの問題を解くカギとなるかもしれません。専門家の多くは、再現可能性についての皆が合意する統一的定義があれば、問題への対処も容易になると考えています。出版論文の裏にある究極の意図は、容易に調査でき、反復もしくは再現できるものでなければなりません。研究者は、そのような認識のもとにデータをシェアし、研究デザインや方法の透明性を維持し、詳細を明らかにするように努めるべきでしょう。それが、いわゆる「再現不可能性の危機」を救う一助となるかもしれません。
 

おすすめ記事:

Irreproducibility: The soft underbelly of science

Is the reproducibility crisis real? An overview of Nature's survey

Can scientific inquiry harm science?

参考記事:

Muddled meanings hamper efforts to fix reproducibility crisis

What does “reproducibility” mean? New paper seeks to standardize the lexicon

What does scientific reproducibility mean, anyway?