先日、Vectaraの機械学習チームがDeepSeekシリーズの2つのモデルに対して詳細な幻覚テストを実施した結果、DeepSeek-R1の幻覚率は14.3%に上り、前身であるDeepSeek-V3の3.9%を大幅に上回ることが判明しました。これは、推論強化のプロセスにおいて、DeepSeek-R1がより多くの不正確な内容、または元の情報と矛盾する内容を生成していることを示しています。この結果を受けて、推論強化型大規模言語モデル（LLM）における幻覚率に関する議論が活発化しています。画像参照

人工知能分野において、大規模言語モデルの幻覚問題は業界を悩ませる重要な課題となっています。最近、HHEM-2.1-Open評価システムに基づいたテスト結果によると、智譜AIのGLM-4-9Bモデルは注目すべき成果を上げました。テストデータによると、評価に参加した85個の大規模言語モデルの中で、GLM-4-9Bは98.7％の事実一致率と100％の回答率で首位を獲得しました。特に注目すべきは、このモデルの幻覚率がわずか1.3％であることであり、この成果は…

2024年11月12日、百度世界大会が上海世博中心にて盛大に開幕しました。本大会は基調講演1回、分科会4回、30回を超える人工知能公開講座で構成されました。百度創設者の李彦宏氏は基調講演「アプリケーション到来」において、人工知能分野における百度の最新技術革新と応用成果を紹介し、将来の業界トレンドについて深く議論しました。

メタが発表したGalacticaモデルは、幻覚問題によりわずか3日でオフラインになりました。レクン氏は遺憾の意を表しています。Galacticaは、大規模言語モデルの初期の試みとみなされており、メタの今後のプロジェクトに肯定的な影響を与えるものと期待されていました。モデルの筆頭著者であるRoss Taylor氏は、基礎モデルの十分なチェックが公開時には行われなかったことを認めながらも、研究価値を強調しています。メタ社のAI研究担当副社長であるJoelle Pineau氏は、Galacticaは製品ではなく研究プロジェクトであると強調しました。Galacticaのオフライン化は、様々な議論を巻き起こしています。

大規模モデルの幻覚は、入力、コンテキスト、事実の3つの主要なカテゴリに分類されます。従来のモデルと比較して、大規模モデルの幻覚評価は、データ規模が大きく、汎用性が高く、検知が困難であるという新たな課題に直面しています。幻覚を軽減するには、事前学習、微調整、強化学習などのアプローチから着手できますが、信頼できる評価など、依然として課題が残っています。全体として、大規模モデルの幻覚の評価と軽減は、更なる研究が必要です。大規模モデルの実用化を促進するためです。