メトリクスは査読の代わりとなり得るか？

「メトリクスの潮が確実に満ちてきている」

ジェームス・ウィルスドン(James Wilsdon)
サセックス大学、科学／民政学教授

科学研究の質やインパクト（影響力）の測定は、研究開発の全利害関係者たちの関心事です。現在主流となっている研究評価方法は、査読と定量的メトリクス（指標）です。査読は、経験豊富な研究者が原稿を批評するプロセスです。査読に対する評価は高く、研究の質を大いに高めるものとされています。一方、出版された研究の定量的分析として、インパクトファクターのような、メトリクスに基づいた研究評価方法もあります。つまり、査読は質的評価を行い、メトリクスは影響力の定量的指標を提供するということです。ここ何年かで、高等教育や研究で使われる公的資金への圧力が高まり、評価に用いられるメトリクスの重要性がこれまでになく増大してきました。メトリクスは、英国の大学研究評価制度、Research Excellence Framework (REF)のように、査読と同時に定量的指標で研究の影響力を評価するプロセスにおいて、非常に重要な役割を果たします。

研究の質や影響力を判定する際にメトリクスが果たす役割を見直すため、REFを導入しているイングランド高等教育財政カウンシル(HEFCE)は、今後研究評価を行う際に、資金提供者や政策立案者による定量的指標の利用方法を改善することを目的として、2014年に委員会を設立

科学計量学的データは、知識の進歩の度合いを表す指標として有効です。しかし、ジャーナルのインパクトファクターやh指数が批判を受けたのは、メトリクスを利用した数値化が不可能な、質的に優れた研究群が抜け落ちてしまうためでした。オルトメトリクスやオンライン上のプラットフォーム及びツールを含め、研究評価の新しいツールのほとんどは、開発の初期段階にあります。このため、報告書は、データの収集及び分析方法を十分に理解することなく、これらの新たな研究評価方法に頼りすぎないようアドバイスしています。ウィルスドン氏らは、「新しいメトリクスと研究の質の間における関係は、ゆるぎないものとは決して言えず、更なる調査が必要である」と述べています。また、「今回のレビューにエビデンスを提供したり、さまざまな方法で協力してくれた人の大多数は、研究管理の分野でメトリクスの役割を増大させる動きには懐疑的であった」とも述べています。 

報告書では、メトリクスが査読に取って代わるものとなり得るかを明らかにするため、異なる研究文化間でのメトリクス適用の可能性、査読システムと数量に基づくメトリクスとの比較、2つの方法の間で適切なバランスをとることについて考察しています。査読システムには落とし穴もありますが、「現段階で利用できる管理方法として、他よりはましなものであり、引き続き研究論文、プロポーザル、個人の評価や、REFのような国レベルでの評価の基本とされるべきである」と述べられています。報告書の作成を手伝った回答者の大多数（回答者26名、そのうち13名は査読を行なっている学会のメンバー）は、「メトリクスは査読の代替とみなされるべきでなく」、「引き続き研究評価の『至適基準』」とされるべきだと述べています。また、メトリクスは「研究の秀逸さに関する詳細な判断を加える」ことで、査読を補佐することができるだろうと提案しています。このため、分野を問わず、査読は今後も専門家の支持を得ていくものと思われます。

報告書で集められたエビデンスによると、計量文献学の可能性を検討した試験的プロジェクト（HEFCE、2008年）では、計量文献学は、その時点ではREFにおける査読と代替可能であるほど信頼性が高くはないと結論付けています。このことから、報告書は、次回のREF評価でメトリクスが査読に取って代わるべきではないと述べています。

報告書が伝えている考え方の1つに、「メトリクスは専門家の判断の一助となるべきだが、取って代わるべきものではない」というものがあり、「情報に基づく査読」（informed peer review）という考え方が紹介されています。これは、評価の目標や文脈に応じ、特定の計量書誌学データによって査読を補足し、包括的な評価を行うというものです。

報告書の主旨は、将来の研究評価には、より進化したメトリクスと、情報に基づいた査読を組み合わせた、より成熟した研究システムが必要であるというものです。ウィルスドン氏らは、「これらの取り組みから、情報に基づいた査読という概念を具体化する『応用計量書誌学』の研究が今後生まれてくるだろう」とまとめています。

報告書「The Metric Tide」の概要は、こちらからご覧頂けます。Responsible metrics can change the future of research evaluation: The Metric Tide report