アメリカのテクノロジー大手Metaが、最も強力なオープンソースAIモデルLlama4を発表しました。今回はLlama4ScoutとLlama4Maverickの2つのモデルが最初に公開されました。
Llama4Scoutは、パラメータ数1090億、アクティブパラメータ数170億、エキスパート16個を備え、最大の特徴は1000万コンテキストをサポートしている点です。これは20時間以上のビデオを処理できることに相当し、単一のH100GPU（Int4量子化後）で実行可能です。ベンチマークテストでは、Gemma3、Gemini2.0Flash - Lite、Mistral3.1を上回る性能を示しました。
Llama4Maverickは、パラメータ数4000億、アクティブパラメータ数170億、エキスパート128個、コンテキスト100万を備えています。大規模言語モデルのLMSYSランキングでは、2位（ELOスコア1417）にランクインし、クローズドソースのGemini2.5Proに次ぐ結果となりました。パラメータ数は半分ですが、推論コーディング能力はDeepSeek - v3-0324と同等です。
さらに、今後数ヶ月以内に、パラメータ数2兆のLlama4Behemothが登場する予定です。これはアクティブパラメータ数2880億、エキスパート16個を備え、STEMベンチマークテストではすでにGPT-4.5、Claude Sonnet3.7、Gemini2.0Proを上回っています。
Llama4シリーズは、初めて混合エキスパート（MoE）アーキテクチャを採用しており、ユーザーの問い合わせのトレーニングと回答において高い効率性を発揮します。Llama4はネイティブのマルチモーダルモデルであり、早期融合技術を採用することで、テキストとビジュアルトークンをシームレスに統合できます。同時に、Metaはビジュアルエンコーダーをアップグレードし、ハイパーパラメータを最適化する新しいトレーニング方法MetaPを開発しました。本日より、開発者はllama.comとHugging Faceからこれらの最新のモデルをダウンロードできます。
要点：
- 🌟MetaがオープンソースのマルチモーダルLlama4を発表。まずLlama4ScoutとLlama4Maverickが公開され、今後Llama4Behemothも公開予定。
- 💪Llama4は強力な性能を誇り、大規模言語モデルランキングで優れた成績を収め、推論コーディングなどの能力は他の優れたモデルと同等、あるいはそれ以上。
- 🛠️MoEアーキテクチャを採用し、ネイティブのマルチモーダルモデル。技術のアップグレードと新しいトレーニング方法があり、開発者はダウンロードして使用可能。
