人工知能（AI）が日常的に使われ始めてから、コンテンツ生成を含め、私たちの生活は大きく変化してきています。しかし、AIが生成したコンテンツの増加により、生成AIが悪用される懸念も生まれてきました。そのため、信頼できる生成AIやGPTによって生成されたコンテンツかを判断する「GPT検出システム」の必要性が高まっています。
スタンフォード大学のJames Zou氏らの最近の研究では、英語ネイティブと非ネイティブそれぞれの英語のライティングサンプルを用いて、一般的なGPT検出器の性能を検証するとともに、特に非ネイティブが執筆したコンテンツを識別する際の有効性と、GPT検出器利用により非ネイティブに起こる新たな問題点について報告・検証しています。この記事ではこの問題を具体的にご紹介し、論文執筆においてこの問題を避けるためのヒントをご紹介します。
GPT detectors are biased against non-native English writers
著者: Liang, W., Yuksekgonul, M., Mao, Y., Wu, E., & Zou, J. (2023).
掲載誌: Journal of Language and Technology*.
論文URL: https://doi.org/10.48550/arXiv.2304.02819
研究の背景と非ネイティブに起こり得る問題
この研究では、英語を母国語としない非ネイティブの生徒が書いたTOEFLのエッセイと、米国の中学2年生のエッセイを用いて、広く使用されている7つのGPT検出器を評価しています。その結果、これらの検出器は、米国の生徒が書いたエッセイを正確に識別する一方で、TOEFLのエッセイの半分以上をAIが生成したコンテンツとして誤分類する傾向があることが明らかになりました。特に、一貫してAI生成文章として誤分類される TOEFLのエッセイは、他のエッセイと比較して、パープレキシティ（「GPT検出器が文章を正しく理解しているかどうか」を数値で表したもの。）の面で結果が良くなかったことから、GPT検出器は言語熟練度の低い非ネイティブの執筆者が書いた文章をAI生成とみなしていることがわかりました。
言語的可変性への介入とGPT検出器の反応
更に、この結果に非ネイティブの限られた語彙や表現のバリエーションがこの結果にどう影響を与えているか調べるために、研究者たちはChatGPTを使ってTOEFLのエッセイの言語をネイティブスピーカーの語彙使用に似せるように修正しました。その結果、驚くべきことにこの介入によって誤検出率は平均49.45％減少しました。更に、米国の中学2年生のエッセイの語彙を非ネイティブの執筆者の語彙に変更した場合、GPT検出器はそれらのエッセイをAIが作成したコンテンツとして分類する傾向がありました。
つまり、語彙表現が限られていることにより、文章の流れや状況にふさわしくない語彙を選択したり、使い慣れた表現をエッセイ内で繰り返し使用したりすることが、GPT検出器にAI生成文章とみなされる一因となっている事が考えられます。
プロンプト戦略とGPT検出の公平性への懸念
一方で、この研究では生成AIにどのように指示を与えるか、つまりプロンプト戦略によってGPT検出器を回避することが可能であることも示しています。AIが生成するコンテンツを工夫することで、検出器による誤検出を回避することができたのです。実験結果では、プロンプト戦略を使用することで、誤検出率が平均81.6％減少することが示されています。
この研究結果は、特に英語を母国語としない非ネイティブの人々に対して不利益を与える可能性と、GPT検出の公正性と信頼性への懸念を提起しています。ChatGPTを使用したコンテンツ検出の倫理的な意義については、広範な議論が必要であり、教育や評価の文脈でこれらの検出器を使用する際には注意が必要です。
論文執筆における生成AIの倫理的利用についてはまだ議論の途中ですが、今後GPT検出器の精度が高まってくれば、出版社は積極的に取り入れていくことが考えられます。しかし、この研究から明らかなように、現在のGPT検出器は使用される語彙や表現を基に評価をするため、非ネイティブの英語とAI生成によるコンテンツを区別することにおいてはまだ課題があることがわかります。
生成AIツールが頻繁に使われるようになった今、非ネイティブがGPT検出器によってAIによる生成文章とみなされることによる不本意なリジェクトを避けるためには、プロンプト戦略の活用や、ネイティブによる人力の校正やフィードバックの活用を通じて言語の適切な使用やニュアンスを確認し、文脈や特徴を正確かつ自然な文章にすることの大切さが改めて見直されるかもしれません。
