目新しい論文はジャーナルから過大評価を受けるか？

論文を発表することへのプレッシャー、特にインパクト・ファクターの高いジャーナルに掲載されることへのプレッシャーは、計り知れないほど大きいものです。研究で成功しようと努力している若手研究者にとってはなおさらです。現代の科学に影響を与えている主な問題の中には、このプレッシャーが原因となるものもあり、有名なニュース記事の中心にもなってきました。

ニューヨークタイムズの記事によると、科学界を苦しめている大きな問題として、ジャーナルが追試（replication studies）に重きを置いていないことが挙げられます。追試は科学における基本です。つまり、根本的な仮説が受け入れられれば、その結果は再現可能なはずです。科学とは自己修正プロセスを意味しています。研究者は先行研究にもとづいて研究をし、もとの研究結果は実証されるか、あるいは反証されるのです。科学そのものの進化に、このプロセスは欠かせません。けれども、追試はもとの研究に比べ新奇性に乏しく、刺激的でもありませんから、掲載されるのはまれです。ニューヨークタイムズは次のように述べています。

「科学者が実験をもう一度行った時、もとの結果に欠陥があることがわかった時でさえ、その論文を掲載するのに苦労するかもしれない。理由は驚くほどありふれている。ジャーナルの編集者は一般に、忠実な追試ではなく、新しく画期的な研究を好むからだ」

最近の研究者に「疑似科学」もしくは擬陽性でやり過ごしてしまう人がいるのは、このためかもしれません。knowledge@Whartonに掲載のこの記事が指摘しているように、どんな仮説でも、それを支持する統計的に有意な結果を発見することは、非常に簡単です。P研究者の頭からは、論文発表というプレッシャーがいつも離れないので、無意識のうちに実験に対し、自分たちが欲する結果を得るようなバイアスをかけてしまう恐れがあります。あるいは、新しく刺激的な結果が現れたとしたら、それが本当に妥当なのか疑いもせず、急いで発表してしまうかもしれません。この状況は寂しく、不安なものです。というのも、もしそうした問題が後に明るみに出たら、発表した論文は撤回されることになるからです。さらに一層悪いことに、その問題が気づかれないままだと、間違った科学が広がってしまう結果になるのです。

この難問に解決策はあるのでしょうか？良い方向へと向かわせるため、いくつかの試みがなされてきました。例えばPublic Finance Review journalは2年前、「大衆は追試を求めている」という記事を掲載しました。もっと最近では、「再現性イニシアティヴ（Reproducibility Initiative）」というサービスがあります。これは、Science Exchange という会社とオープンアクセスのジャーナルPLoS One とが協同して立ち上げたものです。このサービスを通じ、研究者は自分の研究の再現性のチェックを、独立した第三者機関に委託し、実験の結果が再現可能であるという証明書を得ることができます。さらに、再現結果を、年内に発行予定のPLoS One の特集号に掲載することもできます。

しかしこうした取り組みはとてもまれで、研究者は、追試を発表するのは難しいと感じているのが現実です。同時に、特に研究を始めたばかりの者にとっては、追試は、専攻している分野での方法論に強固な基礎を与えてくれる研究です。Science Careersのこの記事には、先行研究を理解し足がかりにするという、科学に必要不可欠なものの見方を育てようと、経験の豊富な研究アドバイザーがどのように学生を促して、チームを作り先行研究の再現をさせているかについて、述べています。けれども、オリジナルの研究としてやらなければならない良い研究もまだたくさんありますし、結果が革新的でもない限り、追試を独立して掲載することは難しいので、関連のあるもとの研究と一緒に追試を行い、オリジナルの結果を報告する論文の中で「脚注として」追試の結果を発表するのがベストです。このようにして、掲載のチャンスをなくすことなく学び続けることができるのです。