見当違いの信頼？科学論文の掲載における諸問題

Molecular Biology and Geneticsでエディターをやっている私にとっては身につまされるような論文が、2013年10月19日のエコノミストの記事に取り上げられていました。 ここのところ科学は自分を見失っているように思われます。数十年の間に打ち立てた信頼という土台を食いつぶし、さまざまな問題の答えを探して世界をもっとよく知ろうとする我々の、邪魔をする事態がいくつか起きています。研究を行う研究者の数は予想もできないほど多くなりましたが、発表されている研究の質は低迷しているように思われます。科学の堅固な土台を維持しようとする際に起きる誤りは多様で、複雑に絡み合っています。研究デザイン、有意性の理解、審査と掲載、科学という分野を今や定義している競争文化、これらの中から誤りは起きるのです。

 「最小閾値（“minimal-threshold” ）」ジャーナルであるPLoS One が論文をリジェクトするのは、研究デザインに手続き上の欠落があったときだけです。こうした基本的なレベルでさえ、投稿論文の半数近くが不採択になっています。研究者が扱えるデータの量が多くなればなるほど、状況は深刻になります。素粒子物理学において研究者たちは、通常クォークは2,3個ずつ見つかるのに、5個で見つかったと信じていました。研究デザインを吟味することにより、その研究のデータ分析が盲検法に完全には従っていないことが明らかになりました。この見落としが是正されると、異常なクォークはもう観測されませんでした。同様に、2010年に発表された、寿命が伸びるのに伴い連鎖遺伝子が変化するという発見は、100歳以上の人々からの検体が若い参加者からの検体とは異なる扱いをされていたことが明らかになったため、翌年撤回しなければならなくなりました。

現代の科学者はたいてい、仮説を立て、研究し、新しく驚くべきポジティヴな結果の発表を目指しています。けれども直観とは反対に、より正確な推測から得られるのはネガティヴな（陰性の）結果なのです。統計学の立場から言うと、検出力0.8の研究（10のうち8が正確にポジティヴな（陽性の）結果を示しますが、2つが偽陰性の結果になること）は、もっとも重要な結果をもたらします。同時に、偽である場合の5％が、偽陽性にあたります。これらの数字を、検証する仮説1000に当てはめると、0が真の陽性を示し、45が偽陽性になります。そこで、科学者は陽性になったすべての結果（125の陽性）を、わずか64％の精度で報告します。これに対し、最初の1000の仮説のうち、875が陰性（そのうち20が偽陰性）です。このデータセットの正確さは98％に近いです。仮説を反証する発見が、真実であると証明する発見よりも信頼にたるのは明らかです。そうした結果を述べているのは、発表された研究の中でも、少数派だけです。
 

図の説明

黄色：偽　
緑：真　
赤：偽陰性　
深緑：偽陽性　

1.検定に値するほど十分に興味深い仮説のうち、10分の1がおそらく真であろう。したがって、1000の仮説を検証するとしたら、そのうち真であるのは100である。

2.検定では偽陽性率を5％にする。つまり、45（900の5％）の偽陽性が出るということである。検定の検出力は0.8であり、真の仮説のうちわずか80だけが確認され、偽陰性の仮説が20生じるということを意味する。

3.何が真で何が偽かはわからないので、研究者は125の仮説が真だとみなすが、そのうちの45は実は真ではない。ネガティヴな（陰性の）結果は信頼性が高いが、発表されにくい傾向がある。

ネガティヴな（陰性の）結果には、同じコンセプトを調査する今後の実験や臨床治験において資源の無駄を防ぐという付加価値もあります。統計でさらに複雑なのは、実験結果の重要性を判断する際に統計的有意性が重要な役割を果たしていることはわかっているのに、研究者が、研究結果を報告するのに使う方程式の緻密さには気づかず、自分たちが一番慣れている公式やソフトウェアに入っている公式を選んでしまいがちだという点です。科学が誇り、高い評価を受けている査読システムが行われているのにもかかわらず、掲載までのプロセスは期待はずれの感があります。

出版社は、これまでに報告されていないものや、上述したようにエラーが発生しやすいポジティヴな結果の発表を好むことが圧倒的に多いのです。査読プロセスに関して匿名で行った研究が示しているように、査読者自身にも、検討している論文の誤りを発見できないことがよくあります。ある研究によれば、明らかに誤りのある研究論文を投稿されたジャーナルのちょうど50％以上が、それらの論文の結果を掲載可能であるとみなしていました。評判の高いBritish Medical Journalに焦点を当てた別の調査によると、わざと誤りを挿入した場合、査読者は通常8個中2個かそれ以下しか発見できず、1つも見つけられない査読者もいたということです。

最後になりますが、今や科学コミュニティにしっかりと根付いている競争文化が、ほかの何よりも人類の進歩の妨げになっています。「掲載か死か」という環境では、研究結果が信頼に足るものであろうがなかろうが、より多くの結果を発表することで職業が決まります。20年以上の歳月をかけた調査のデータによると、参加者の2％が、自分の論文を掲載するために自分でデータを改ざんすることを許されていました。また、研究で使った方法に議論の余地がある仲間を知っていると答えたのは参加者の28％でした。競争はまた、データと方法の共有ができるようなオープンな姿勢を科学コミュニティから奪ってしまいます。

同様に、新しい実験の再現を目指す試みも妨げてしまいます。科学的研究の品質を保証するものの一つ、そしてその研究の信頼性に対する主な理由は、同じ実験からは常に同じ結果が得られること、つまり再現性という考えです。不幸なことに、最近発表されている研究の多くが再現可能性に欠けています。画期的だと思われる実験を再現しようとする試みは、アムゲン社（訳注：アムゲン、バイエルともドイツの医薬品会社）が行った追試53のうちわずか6しか成功しておらず、バイエル社の場合は67の4分の1しか成功しませんでした。さらにいっそう憂慮すべきことは、誤りや不正行為のため後に撤回された研究結果をもとにした臨床治験に、2000年から2010年までの間で8万人近くが参加していたという事実です。研究者たちは完璧であるのは不可能だと認める一方で、自分の誤りを正し間違えた結果を撤回するのを躊躇しているのです。

科学への信頼を回復するため、たとえば、ジャーナルに誤りをもっと厳密に調べるようにさせる、研究の量よりも質で研究者に報酬を与えるなど、いくつかの解決策が提案されてきました。けれども、そうした提案を実効に移すのはもっと困難でしょう。最近の科学が容認している誤りは、実に驚くべき量です。科学の信頼性へのダメージが取り返しのつかないほど大きくなる前に、科学コミュニティが問題を解決することを願うばかりです。

おすすめ関連記事：
目新しい論文はジャーナルから過大評価を受けるか？