ブルームバーグによると、OpenAIは、自社の大規模言語モデルの汎用人工知能（AGI）における進捗状況を追跡するための内部指標を作成しました。この取り組みは、OpenAIのAGI分野における野心を示すだけでなく、AI開発の新たな評価基準も業界に提供します。

智源研究院は、コード生成モデルに、より挑戦的なトレーニングデータと評価基準を提供することを目的とした、TACOというコード生成トレーニングデータセットを発表しました。TACOは、データ規模、品質、評価方法において優れており、大規模なトレーニングセットとテストセット、多様な解答、詳細なラベルが含まれています。実験結果によると、現在普及しているコード生成モデルは、TACO評価においてGPT-4と顕著な違いがあり、この分野には依然として改善の余地があることが示されています。TACOは単なる挑戦的なデータセットではなく、…

智譜AIは、中国語大規模言語モデルのための評価基準AlignBenchを発表しました。AlignBenchは、多角的な視点からモデルと人間の意図との整合度を詳細に評価できます。データセットは、知識応答、文章生成、ロールプレイングなど、8つの主要なカテゴリに分類され、多様なタイプの問題が含まれています。開発者はAlignBenchを使用してモデルを評価し、評価能力の高いスコアモデルを用いてスコアを算出できます。AlignBenchウェブサイトにアクセスして結果を提出することで、Critiqueを使用できます。

アリババグループと北京大学は共同で、DevOps分野向けの大規模言語モデル評価基準を発表しました。この評価基準には、計画、コーディング、ビルド、テスト、リリースなど8つのカテゴリの選択問題4850問が含まれています。また、AIOpsタスクに対する詳細な評価も行われています。評価結果によると、各モデルのスコアに大きな差は見られませんでした。

SuperCLUEが8月ランキングを発表しました。5つのランキングで、16の汎用的大規模言語モデルを評価し、3337問の新しいテスト問題を使用しました。中国のモデルは、中国語タスクにおけるGPT3.5との差を縮めています。