人工知能の世界では、オープンソースとクローズドソースの競争は常に続いてきました。そして今、Meta AIのLlama 3.1モデルの発表は、この競争に画期的な転換点を打ったと言えるでしょう。これは単なるモデルの発表ではなく、オープンソースAIが成熟期に入った証であり、全く新しい時代の到来を予感させます。
Llama 3.1は、Meta AIチームが開発した次世代の大規模言語モデルです。150以上のベンチマークテストにおいて、405Bパラメーター版は、既存の最先端モデルであるGPT-4oやClaude 3.5 Sonnetに匹敵するだけでなく、いくつかの点ではそれらを凌駕するパフォーマンスを示しました。この成果は、オープンソースAIモデルが初めて性能においてクローズドソースモデルと肩を並べたことを意味します。
Llama 3.1 405Bモデルのトレーニングのために、Metaはトレーニングスタック全体を大幅に最適化し、初めて16000個以上のH100 GPUという規模の計算能力を投入しました。標準的なデコーダーのみのTransformerアーキテクチャを採用し、わずかな変更を加えた上で、反復的なpost-trainingプロセスを行い、各ラウンドでSFT（教師ありファインチューニング）とDPO（直接選好最適化）を用いて性能を向上させました。
Metaは、ユーザーの指示に対するモデルの応答能力を高め、詳細な指示に従う能力を強化すると同時に、安全性を確保しました。post-training段階では、複数ラウンドのアライメントを行い、合成データを使用して大部分のSFTサンプルを生成し、様々なデータ処理技術を用いて最高品質のデータに絞り込みました。
技術的ハイライト:
コンテキスト長の拡張: Llama 3.1はコンテキスト長を128Kに拡張しました。これは、モデルがより複雑なタスクを処理し、より長いテキスト情報を理解できることを意味します。
多言語サポート: 英語、フランス語、ドイツ語、ヒンディー語、イタリア語、ポルトガル語、スペイン語、タイ語など、8つの言語へのサポートが追加され、モデルの汎用性が大幅に向上しました。
卓越した性能: 常識、操作性、数学、ツールの使用、多言語翻訳などにおいて、Llama 3.1は卓越した性能を示しています。
Llama 3.1は15兆個を超えるトークンでトレーニングされました。 この規模のトレーニングは業界で初めてのことです。
モデルアーキテクチャ: Llama 3.1は、標準的なデコーダーのみのTransformerアーキテクチャを採用し、モデルの性能向上のためわずかな調整が加えられています。
MetaのCEOであるマーク・ザッカーバーグ氏はインタビューで、オープンソースAIが業界の転換点になると述べています。彼は、オープンソースAIはオープン性、修正可能性、コスト効率の面で優れており、AI技術の普及と発展を促進すると強調しました。
オープンソースAIは、開発者が自由にコードを修正し、データの安全性を保護しながら、効率的で費用対効果の高いモデルを提供します。さらに、オープンソースAIは開発速度が速く、長期的な標準になる可能性があります。
Metaは複数の企業と協力して、より広範なエコシステムを構築し、開発者が独自のモデルを微調整および蒸留できるように支援しています。これらのモデルは、AWS、Azure、Google、Oracleなど、主要なクラウドプラットフォームですべて提供されます。
Llama 3.1の発表は、オープンソース人工知能が業界標準になる可能性を示唆しており、AIの普及と応用の新たな道を切り開くでしょう。
公式の詳細な説明：https://ai.meta.com/blog/meta-llama-3-1/
