科学を脅かす「再現性の危機」は解消できるか？

分析化学の分野で活動してきたこの30年間、私はさまざまなジャーナルで数多くの論文を査読してきました。その中には、分析法バリデーション（analytical method validation）がほとんど、またはまったく行われていないために、再現性、反復性、頑健性、信頼性や、バリデーションによって示すべき多くのエビデンスが不足しているものが多くありました。驚くべきは、これらの大半が、生物学のジャーナル（Science、Nature、Cell、BioTechniquesなど）ではなく、分析専門のジャーナルに投稿されていたことです。こうした状況から考えると、既存の論文や最近の論文に再現性や分析法バリデーションに関する要素が欠けていても不思議はありません。

優れた科学研究／論文とは、別の研究施設で別の研究者が同様の手順を踏んでも再現が可能であるということでしょう。論文を投稿する前に、研究室での反復性と、別の研究室での再現性を確認しておくことは、著者自身が行うべき最小限のプロセスです。このきわめて重要な要素が満たされない限り、研究結果の公表は控えるべきでしょう。研究は、試験実施適正基準（good laboratory practices、GLP）などの科学的規範に準拠し、品質管理・品質保証ができるGLP認定を受けた施設で行う必要があります。また、すべての測定を最低3回は繰り返し、統計的処理・集計分析が行われたデータ（数字）を用意する必要があるでしょう。

再現性の確認は、なぜそれほど重要なのでしょうか？再現性・反復性を示す要素がないためにリジェクトされる論文は、増え続けています。それらの論文は、再現不可能な既存文献の数を増やすだけです。分析関連の最新の論文の査読を行なっている人々が私の経験に共感するなら、ジャーナルや編集者が、論文を評価する際に著者により多くを求めなければならないことは明らかです。論文には、再現性、反復性、頑健性、信頼性を示すエビデンスや、真正性／完全性を示す要素および分析法バリデーションが含まれていなければなりません。これらが示されていない論文は、別の研究者による再現が不可能であるため、出版されたとしても役に立たず、既存の多数の科学文献が全体的に再現性を欠いているという現在の危機に繋がるだけなのです。

私が担当する分析論文のほとんどは、分析法バリデーションが部分的に行われているか、またはまったく行われていないかのどちらかです。これは、頑健性、信頼性、再現性、反復性、検出下限（limits of detection）、定量下限（limits of quantitation）、定量分析のためのキャリブレーションプロット、反復測定データの統計処理（n≧3）、試薬の安定性、品質管理、品質保証、GLPなどが欠けているということです。そして、再現性を示す要素に欠けた論文のほとんどは、分析機器、薬剤、生物薬剤関連の企業や政府機関からではなく、学術機関から生み出されています。研究機関は、米国食品医薬品局

以上の議論を踏まえて、科学がこの問題を正し、完全に再現性のある論文を将来的に生み出していくにはどうすればいいかを考えてみたいと思います。著者、査読者、編集者、ジャーナル出版社、助成機関のうち、誰がこの責任を負うのでしょうか？妥当かつ再現性・反復性がある誠実な結果／データを提示する最終的な責任は、著者にあると言えるでしょう。一方、査読者も、再現性・反復性を示す要素や、バリデーションや信頼性を付与する基準を含まない論文をより厳しく評価すべきです。ジャーナルによっては、良質な論文だけが出版されるよう、査読者向けのガイダンスや指示をウェブサイトで提供しているところもあります。編集者は、判定を下す前に査読者のコメントや提言についてよく検討する必要があります。あるいは、再現性や反復性を示すエビデンスがない論文は、そもそも査読に回すべきではないでしょう。そして出版社は、出版後の信頼性、再現性、反復性を保証するために、投稿論文に含まれるべき事項についての方針を見直すべきでしょう。

こうした状況から、ジャーナルは、論文の再現不可能性と、往々にしてその後に起こる撤回という問題を防ぐための方法を模索しています。Nature、BioTechniques、The Analystなどのジャーナルは、研究の説明の中で、再現性・反復性を示すエビデンスや、それぞれの実験を何度繰り返したかを示すよう著者に求めています。中には、分析法バリデーションの基準を本文に含めるよう指定しているガイドラインもあります。最終的に出版を認める論文について、ジャーナル編集者や査読者は、より慎重になる必要があるでしょう。分析法バリデーションのエビデンスがほとんどあるいはまったくない場合はなおさらです。その場合、再現・反復ができない可能性があるためです。目指すべきゴールは、論文の最終版に十分なデータ、情報、バリデーションが含まれていて、読者の手による再現性が保証されている状態に持って行くことです。

再現性・反復性の欠如は、科学の歩みを鈍らせます。加えて、再現不可能な研究は科学研究費に膨大な負荷をかけるので、資金調達にも悪影響を与えかねません。また、人々から科学への信頼を奪うことにも繋がり、医療政策を危機に陥れる恐れもあります。したがって、科学の主要関係者たちは、良質で高品質な科学を発表することを、何よりも優先させるべきでしょう。