通常、論文の初期処理には数週間かかります。査読者の特定と選定にはさらに1～2週間かかり、実際の査読には1カ月以上かかることもあります1。最近、査読者1人あたりの査読にかかる年間コストは1,200米ドル以上と見積もられています2。一度リジェクトされ、その後別のジャーナルに再投稿された論文の査読に、年間数百万時間もの時間費やされているのです！1 査読者の負担を軽減するには、システムに何らかの変更が必要なことは明らかです。
生活のあらゆる分野で急速に発展している人工知能（AI）は、大きな興奮をもたらしています。AIは学術出版における査読の質と効率を高める可能性を秘めていますが、いくつかの注意点があるかもしれません。この記事では、査読におけるAI活用の可能性と懸念事項、およびAIと人間の専門知識をどのように融合させるのが最適かについて解説します。
査読におけるAIの応用の可能性
AIツールは査読プロセスを合理化し、査読者やジャーナル編集者が費やす時間と労力を大幅に削減するのに役立ちます。実際、査読は何年も前から、剽窃の検出（iThenticate、CrossCheck）、重複投稿の検出、画像操作など、ワークフローの自動化によって多大な恩恵を受けてきました。AI の力を利用して自動化を改善し、効率的に査読を行うための手順はまだまだたくさんあります。
1. 各種パラメータの迅速なスクリーニング
a. 倫理的問題：AIを使用して倫理的承認ステートメント、同意の取得の有無と方法、適切な情報開示の記載などをスクリーニングすることで、倫理基準違反を特定し、フラグを立てることができます。助成金番号、臨床試験登録、オープンデータ要件などの資金提供者の要件が満たされているかどうかのスクリーニングも可能です。
b. ジャーナルの基本チェック：投稿された論文の範囲とジャーナルとの一致を確認するには人間の判断が必要ですが、AIツールは、投稿論文がジャーナルにアクセプトされた論文タイプの1つであることを確認したり、文章の質、データ表示、基本的な書式の評価などの基本的な評価を支援することができます。
c. 報告ガイドラインの遵守：自動化ツールは、EQUATORガイドラインに基づく基本的な報告項目に対する研究の遵守を評価するのに役立ちます（例えば、ランダム化試験の場合はCONSORT、システマティックレビューとメタ分析の場合はPRISMA）。
d. データ分析の欠陥の特定：AIシステム（例えば、TableauやDataWrapperのようなツール）は、査読者が潜在的な問題を特定するためにデータの傾向やパターンをマッピングするのを助けることができます。
2. 査読者の検索と論文とのマッチング
機械学習アルゴリズムは、論文のキーワード、抄録、本文、参考文献を分析し、必要な専門知識、利用可能性、査読者履歴を持つ適切な査読者を提案するようにトレーニングされる可能性があります。Web of Science Reviewer Locatorは、そのような査読者推薦システムの一例です。
3. 論文の内容の要約
査読者は、重要な概念を抽出して論文を要約するツールを利用するといいでしょう。これにより、査読者は時間を節約し、内容のレビューに集中することができます。
査読におけるAIの潜在的問題
AIが査読を迅速化する可能性があるにもかかわらず、査読にAIを採用すると、特定の問題が生じます。AIツールは、論文の関連性を判断したり、文献内での研究の文脈上の重要性を把握したりするのに苦労する可能性があります。また、研究方法が研究課題に適しているかどうか、データが著者の結論を裏付けているかどうか、ツールはうまく「判断」できないかもしれません。完全にAIによって生成されたレビューは、意見や専門家の評価という点で創造性やオリジナリティのないインプットになり、単に論文の焼き直しバージョンになるでしょう、
さらに、AIはハルシネーションのために不正確になりがちです3。また、トレーニングデータに既存のバイアスの影響を受ける可能性もあります。もうひとつの問題は機密保持です。査読中の論文は、出版前に機密扱いとされます。しかし、論文がシステムに入力されると、著作権違反や剽窃につながる可能性があります。
もうひとつの注意点は、要約されたコンテンツを生成するツールに過度に依存してしまう可能性があることです。
査読におけるAIの使用に関する現在の見解とガイドライン
研究者は多くの場合、大量の論文をレビューし、助成金の申請書に追われ、査読者の疲労に耐えることになります。このような課題に対処するため、ジャーナルでは多くのAIツールが使用されています。しかし、一部の出版社からは、査読をAIに依存することへの懸念の声も上がっています。実際、NIHの査読者は、助成金申請書や研究提案書の査読に生成AIツールを使用することを禁じられています。Australian Research Councilも、査読に生成AIを使用することを禁止しました。学術誌『Science』も、査読者による生成AIの使用を禁止しています。一方、U.S. National Science FoundationとEuropean Research Councilは、査読におけるAIの適切な使用に関するガイドラインの策定に向けて取り組んでいます4。
査読におけるAIの利用は、対処すべき倫理的、社会的、技術的な課題を提起します。大まかに言えば、AIシステムは透明性があり、説明可能で、偏りがないものでなければなりません。つまり、AIシステムは一貫性のある有効な結果を出し、査読者と著者の秘密を尊重すべきであり、ユーザーは結果に対して説明責任を負う必要があります。重要なことは、ユーザーはワークフローにおいてそのようなツールを使用していることを開示しなければならないということです。出版社がAIツールを使用する場合、査読者に適切なトレーニングを提供する必要があります。
将来に向けての重要な考慮事項
あらゆる期待と落とし穴を考慮すると、AIだけでは査読ワークフローの問題を解決することはできないと言えます。ただし、人間の協力と監視があれば、AIツールは大いに必要とされる効率性とスピードをもたらすことができるのです。
基本的なフォーマット、記事の種類、テキストや画像の剽窃のスクリーニング、倫理や報告ガイドラインの遵守といった手順を自動化することで、多大な負担や単調な作業を回避することができます。このような作業をAIに任せることで、査読者が誤ってやってしまいがちな要素のスキップも確実に行われます。例えば、AIツールは、批評から見落とされた部分があれば、査読者にプロンプトを表示することができます。このような補助的な手順を放棄することで、査読者はAIにはできない方法で、より有意義に貢献できる側面に集中することができます。これは査読者にとってやりがいを感じるかもしれません。全体として、AIの介入は査読者の燃え尽き症候群を減らし、査読者がより少ない負担でより多くのレビューを処理できるようにすることに貢献できます。
ジャーナル編集者は、限られた査読者を扱うことがよくあります。AIがさまざまなレベルで支援することで、原稿ごとに必要な査読者の数を減らすのに役立つ可能性があります。さらに、AIが適切な査読者の特定をサポートすることで、ミスマッチの査読者や対応できない査読者への連絡にかかる無駄な時間を削減し、査読者の割り当てにおける不必要な遅延を避けることができます。
結論
AIツールは、査読における数多くの作業を自動化し、査読者とジャーナル編集者をプロセス全体を通してサポートする能力を備えています。優れたアプローチは、人間による独自のインプットを必要としない面倒なステップをAIに割り当て、査読者は研究のより細かい知的側面や厳密性に集中できるようにすることです。
生成AIは急速に進化しており、今日の懸念は、数ヶ月とは言わないまでも、数年後には解決され、査読者や編集者がさらに多くのタスクから解放される可能性があります。しかし、許容される使用のための明確なポリシーを策定する必要があり、そのためには学界と学術出版界のすべての利害関係者によるオープンな対話が必要です。AIの利用について慎重かつ賢明なアプローチを採用することは、今後数年間の査読の方向性を定める上で重要となります。
参考文献
- Huiman, J, Smits, J. Duration and quality of the peer review process: the author’s perspective. Scientometrics 113, 633–650 (2017).
- LeBlanc, A.G., Barnes, J.D., Saunders, T.J. et al. Scientific sinkhole: estimating the cost of peer review based on survey data with snowball sampling. Res Integr Peer Rev 8, 3 (2023). https://doi.org/10.1186/s41073-023-00128-2
- Weise, K., Metz, C. When A.I. chatbots hallucinate. The New York Times (2023). https://www.nytimes.com/2023/05/01/business/ai-chatbots-hallucination.html
- Kaiser, J. Science funding agencies say no to using AI for peer review. Science (2023). doi: 10.1126/science.adj7663
この記事はEditage Insights 英語版に掲載されていた記事の翻訳です。Editage Insights ではこの他にも学術研究と学術出版に関する膨大な無料リソースを提供していますのでこちらもぜひご覧ください。
