人工知能分野において、大規模言語モデルの幻覚問題は業界を悩ませる重要な課題となっています。最近、HHEM-2.1-Open評価システムに基づいたテスト結果によると、智譜AIのGLM-4-9Bモデルは注目すべき成果を上げました。テストデータによると、評価に参加した85個の大規模言語モデルの中で、GLM-4-9Bは98.7％の事実一致率と100％の回答率で首位を獲得しました。特に注目すべきは、このモデルの幻覚率がわずか1.3％であることであり、この成果は…

上海人工知能研究所司南OpenCompassチームと魔搭ModelScopeが共同で発表した大規模言語モデル評価プラットフォームCompassArena（大規模言語モデル競技場）が最近アップグレードされました。ユーザーにより科学的で包括的なモデル評価体験を提供することを目指しています。公開以来、このプラットフォームは多くのコミュニティユーザーが参加し、データを提供してきました。これらのデータに基づいて、CompassArenaは継続的に最適化されており、今回のアップグレードには新しいJudge Copilot機能とランキングアルゴリズムの改善が含まれています。

12月5日、バイトダンスの豆包大規模言語モデルチームは、最新のコード大規模言語モデル評価ベンチマーク「FullStack Bench」を発表しました。これは11種類以上の現実的なシナリオを網羅し、16種類のプログラミング言語をサポート、3374個の問題を含んでいます。このベンチマークは、従来の評価基準と比べて、より広範なプログラミング分野で、大規模言語モデルのコード開発能力をより正確に評価でき、現実世界のプログラミングタスクにおけるモデルの最適化を促進します。HumanEvalやMBPPなど、現在主流のコード評価ベンチマークは、通常、基礎と高度なレベルに集中しています。

自然言語処理分野では、大規模言語モデル（LLM）が急速に発展しており、多くの分野で目覚ましい進歩を遂げています。しかし、モデルの複雑性が増すにつれ、その出力を正確に評価することが非常に重要になります。従来は、人間による評価に依存していましたが、この方法は時間と費用がかかり、規模を拡大することが難しく、モデルの急速な発展のペースについていくことができません。この状況を変えるため、Salesforce AI研究チームは、3つの大規模言語モデルで構成されるSFR-Judgeを発表しました。

上海人工知能研究所の司南 OpenCompassチームと魔搭 ModelScopeが協力して、Compass Multi-Modal Arenaをリリースしました。これは大規模言語モデル評価プラットフォームの新しいセクションであり、マルチモーダル大規模言語モデルに焦点を当てています。ユーザーは画像をアップロードして質問を入力することで、2つの匿名のマルチモーダル大規模言語モデルに回答を生成させ、生成されたコンテンツの質に基づいて主観的な評価を行い、より優れたパフォーマンスを示したモデルを選択できます。プラットフォームはシンプルで使いやすいインターフェースと特徴的な問題集を提供しており、問題集の側面は…

智源研究院は、様々な大規模言語モデルを効率的に評価し、スコアを出力できるJudgeLM裁判モデルをオープンソース化しました。JudgeLMはGPT-4と比較してコストは1/120で、評価結果の一致率は90％以上です。JudgeLMは、純粋なテキスト、マルチモーダルなど様々な評価シーンに適用でき、スコアと根拠を提示します。JudgeLMと正解の一致率は最高90％を超え、人間の評価に近づいています。智源研究院は、更なる研究のために、トレーニングと検証に使用したデータセットも公開しました。

アリババグループと北京大学は共同で、DevOps分野向けの大規模言語モデル評価基準を発表しました。この評価基準には、計画、コーディング、ビルド、テスト、リリースなど8つのカテゴリの選択問題4850問が含まれています。また、AIOpsタスクに対する詳細な評価も行われています。評価結果によると、各モデルのスコアに大きな差は見られませんでした。

パラメータ数は、大規模言語モデルを評価する唯一の尺度ではありません。評価データセットの違いによってランキングに大きな差異が生じ、主観的な問題の割合が増加するとランキングにも影響し、評価の公平性に疑問が生じます。OpenCompassやFlagEvalなどの第三者評価機関が注目を集めており、学界ではモデルの堅牢性や安全性など、多角的な評価を行うべきだと考えられています。真に包括的で効果的な評価方法は、依然として模索段階にあります。

SuperCLUEが8月ランキングを発表しました。5つのランキングで、16の汎用的大規模言語モデルを評価し、3337問の新しいテスト問題を使用しました。中国のモデルは、中国語タスクにおけるGPT3.5との差を縮めています。