先日、スタンフォード大学の巨大言語モデル評価ランキングHELM MMLUが最新のランキングを発表しました。スタンフォード大学基礎モデル研究センター長のPercy Liang氏は、アリババの通義千問Qwen2-72BモデルがLlama3-70Bを上回り、最高の性能を持つオープンソースの大規模言語モデルとなったと発表しました。

📊 大規模モデルの評価体系：現在の評価体系には、オープンソースのデータセットで不正に高得点を得られる、クローズドな評価データセットが公平性に問題を引き起こす、評価指標が科学的で包括的でないといった問題があります。💡 大規模モデルの応用トレンド：記事では、大規模モデルがモデル開発から応用開発へのイノベーションへと移行しつつあると指摘しています。🔎 大規模モデルの商業化問題：大規模モデル開発チームにとって、ランキングやパラメーター数よりも、商業化が実現可能かどうかがはるかに重要です。