ChatGPT、Claude、Geminiといった大規模言語モデルは印象的ですが、共通の大きな問題を抱えています。それは、しばしば「幻覚」を生み出すことです。これはAI分野における深刻な問題であり、アップルでさえ、将来のApple Intelligenceがどのように幻覚に対処するかを懸念しています。幸いなことに、研究者チームがAIの幻覚を検知し、AIが内容をでっち上げているかどうかを判断できるAI幻覚検出器を開発しました。
画像出典：AI生成画像、画像ライセンス提供元Midjourney
これらの幻覚は、多くの恥ずかしい、そして興味深い失敗につながっており、ChatGPTなどのAIがまだ実用的でない主な理由の一つでもあります。GoogleがAI検索の概要を修正せざるを得なくなった例がありました。AIが人々に石を食べるのは安全だと主張し、ピザに接着剤を塗るのも安全だと述べたためです。さらには、弁護士がChatGPTを使って法廷書類の作成にあたり、チャットボットが書類中の引用をでっち上げたために罰金を科せられた事例もあります。
論文によると、研究者らが開発した新しいアルゴリズムは、AIが生成した回答が約79％の確率で正確かどうかを判断できます。もちろん、完璧ではありませんが、現在の他の主流な手法よりも10％高い精度です。
GeminiやChatGPTなどのチャットボットは非常に便利ですが、でっち上げの回答を生み出す可能性も高いです。この研究は、オックスフォード大学コンピュータサイエンス学科のメンバーによって行われました。研究者らは論文の中で、彼らが用いた方法は比較的シンプルだと説明しています。
まず、チャットボットに同じプロンプトを複数回（通常は5～10回）回答させます。次に、「意味的エントロピー」と呼ばれる数値を計算します。これは、回答の意味の類似性または差異性を測る指標です。モデルが各プロンプト項目に対して異なる回答をする場合、意味的エントロピーのスコアは高くなり、AIが回答をでっち上げている可能性を示唆します。しかし、回答が同じであるか、意味が類似している場合、意味的エントロピーのスコアは低くなり、提供された回答が一貫性があり、真実である可能性が高いことを示します。これは100％正確なAI幻覚検出器ではありませんが、興味深い処理方法です。
他の手法は、いわゆるナイーブエントロピーに依存しており、通常は意味ではなく、回答の言い回しをチェックします。そのため、文中の単語の意味に注目していないため、意味的エントロピーを計算するほど正確に幻覚を発見することはできません。
研究者らは、このアルゴリズムをボタンとしてChatGPTなどのチャットボットに追加することで、ユーザーがプロンプトに対する回答の「確実性スコア」を得られるようにできると述べています。AI幻覚検出器をチャットボットに直接組み込むことは魅力的であり、このようなツールを様々なチャットボットに追加する有用性は理解できます。
