Metaの科学者Thomas Scialom氏がLlama 3.1の開発秘訣を明らかにしました。4050億パラメーター規模のモデルはGPT-4に対抗するために開発されました。アーキテクチャではなくトレーニングトークン数を増やすことで、Llama 3.1はモデル規模とトレーニングデータ総量の最適なバランスを実現し、知識の深さと広さの飛躍的な向上を達成しました。データ選択において、Scialom氏は公開インターネット上のテキストよりも合成データを選択する傾向があります。Llama 3.1の評価と改善には、報酬モデルと多様なベンチマークが使用されています。