Llama3.1がリークされました！そう、4050億パラメータを誇るこのオープンソースモデルが、Reddit上で大きな波紋を広げています。これは、これまででGPT-4oに最も近いオープンソースモデルであり、場合によってはそれを凌駕する可能性すらあります。
Llama3.1はMeta（旧Facebook）が開発した大規模言語モデルです。公式発表はまだありませんが、リークされたバージョンは既にコミュニティで大きな話題となっています。このモデルには、ベースモデルに加え、8B、70B、そして最大パラメータ数の405Bのベンチマーク結果も含まれています。
性能比較：Llama3.1 vs GPT-4o
リークされた比較結果によると、70BバージョンのLlama3.1ですら、複数のベンチマークテストでGPT-4oを上回っています。オープンソースモデルが複数のベンチマークでSOTA（State of the Art、最先端技術）レベルに達したのは初めてであり、「オープンソースの力は偉大だ！」と感嘆せざるを得ません。
モデルの特長：多言語対応、より豊富なトレーニングデータ
Llama3.1モデルは、公開ソースの15T+トークンを使用してトレーニングされ、事前トレーニングデータの最終日は2023年12月です。英語だけでなく、フランス語、ドイツ語、ヒンディー語、イタリア語、ポルトガル語、スペイン語、タイ語など、複数の言語に対応しています。そのため、多言語での会話ユースケースで優れた性能を発揮します。
Llama3.1の研究チームは、モデルの安全性に非常に重きを置いています。潜在的な安全リスクを軽減するために、人工生成データと合成データを組み合わせた多面的なデータ収集方法を採用しています。さらに、データ品質管理を強化するために、境界プロンプトと敵対的プロンプトも導入されています。
