業界トレンド

統制、実験、反復:不確実性に関する実験の再現について

2018年02月26日 2.9k ビュー

分配ゲームにおいて、見返りが不確実であることは、協力関係にどのような影響を及ぼすのでしょうか？答えはさておき、統計的有意性は、その結果の妥当性を示す上で十分なのでしょうか。

ルイジ・ブテラ（

Luigi Butera）氏とジョン・リスト（John List）氏による論文、「An Economic Approach to Alleviate the Crises of Confidence in Science: With An Application to the Public Goods Game（科学における信頼性の危機を緩和するための経済学的アプローチ: 公共財ゲームへの適用）」では、公共財ゲームを4回繰り返す実験を通して冒頭の問いに取り組み、その頑健性を強化するための再現実験への動機付けを行う方法を提案しています。

1回限りの実験で得られた結果の統計的有意性は誤りである可能性があるため、経済学では再現実験の重要性が説かれているものの、ほとんどのケースで実施されていないのが現状です。著者らは、相反するこの状況の原因として、最初の実験者と将来の再現実験者へのインセンティブの欠如を挙げています。また、再現実験が最初の研究を支持するものではなく、その信頼性を揺るがす脅威であると捉えられていることも一因であるとしています。

同論文では、以上の原因を明確にした上で、その対処法として、再現実験を促すためのインセンティブに基づくメカニズムを提唱しています。経済学分野におけるトレンドに反し、著者らは次の方法で自分たちが提唱したメカニズムを実践に移しました。論文をワーキングペーパーとしてオンライン上に公開し、ジャーナルに投稿しないことを明言しつつ、再現実験を行なってくれた研究者に、第2報の共著者としての権利を提供することを提案したのです。

実験では、「公共財の供給」という盛況な研究テーマを含めながら、扱われることが少ない「不確実性」というテーマも取り入れています。経済学では、不確実性は避けられないものと見なされているにも関わらず、公共財の供給に対する投資の見返りの不確実性について検討している研究は、ほとんどありません。検討されている場合も、見返りの確率があらかじめ分かっているなど、確実性の要素が含まれており、実社会の状況からは乖離しています。著者らは参加者に対し、投資による1人当たりの見返りを知らせず、すなわち「ナイトの不確実性」を取り入れて、より現実に近い状況を設定しています。

この論文は最終的に、再現実験の実施だけにとどまらず、最初の実験と再現実験の間にある溝を埋めることに成功しています。読み手に続きを探求したくなる動機を与え、未踏の道に導いたのです。

【貢献度: ノイズに耐える？】

実験では、参加者が個人口座と共同口座の両方に投資を分配するというゲームを複数回繰り返します。参加者には、貢献度に応じた見返りがあるというノイズ情報が伝えられます。その結果、個人の不確実性が高いほど協力関係が強まることが明らかとなり、公共財の質が未知であるほど、その傾向が顕著になりました。確実性が増していくと協力関係は低下しますが、不確実性が高くなるほど、その低下度合いは抑えられました。また、下方バイアスではなく、上方バイアスのシグナルが強まるほど、貢献度は高まりました。実態により近いのは下方バイアスであるため、このような直感に反した結果に、著者らも驚きを隠せなかったようです。バイアスの向きによらず、不確実性は貢献度を高めています。個人の見返りの不確実性や、協力者間の見返りの違いにおける不確実性もまた、貢献度を高めています。

同論文では、実験のデザインに起因するグループ間や観測結果の差を補正しています。また、参加者が自分の役割について混乱してしまう可能性を排除するなど、あらゆる状況を想定して潜在的な障害を回避しているため、説得力の高い論文であると言えます。

【同じ実験を繰り返す】

再現実験は明らかに重要であるにも関わらず、新規性に欠けるために見返りがあまり期待できないこと、そして実験に失敗したときのリスクが、再現実験への積極的な取り組みを妨げています。著者らは、同じデータセットを使用することや、同じ課題に別の方法論でアプローチすることなど、再現実験の方法は多様であることを認めた上で、同じ研究デザインを採用することにこだわっています。

著者らはManiadis et al.（2014）のベイズ的アプローチを取り入れ、再現研究の成否に関する事前確率と事後確率を計算して、障害になっているものと無視されがちなメリットを説明しています。そして、これらのメリットを享受するために進むべき道筋を提示し、再現実験者を募っています。

今回の研究で明らかになった知見に再現性があるのか、誤りが証明されるのかは、今のところ不明です。ただ、再現研究の促進に一役買っていることは間違いないでしょう。

【まとめ】

不確実性が増すと協力関係が強化される、という結果は衝撃的です。これは、反「ただ乗り」層にとって非難の根拠ができただけでなく、損害を被ったただ乗り層にとっても、反感をある程度緩和したり、関与を促したりすることに繋がります。精査をくぐり抜けるための確実性を前提とした枠組みは、求められなくなるでしょう。今回の論文はこのように、先行研究とは異なり、不確実性を避けることなく、むしろ歓迎しています。そうすることで、より現実に即したシミュレーションが可能になっています。

この研究は、信頼性を強化する機会を提供する代わりに、実験結果の信憑性を、自ら危険に晒していると言えます。いずれにせよ、再現実験は、事実の過小評価と虚偽の過大評価を防ぐことに繋がります。何より、この論文は、経済学者間の再現研究の成功を望んでいることから、より大きな利益に貢献しようと試みているのです。