MiniMaxは2025年1月15日、新たなモデルシリーズMiniMax-01のオープンソース化を発表しました。このシリーズには、基礎言語大規模モデルMiniMax-Text-01と視覚多様な大規模モデルMiniMax-VL-01が含まれています。MiniMax-01シリーズはアーキテクチャにおいて大胆な革新を行い、初めて大規模に線形アテンションメカニズムを実現し、従来のTransformerアーキテクチャの限界を突破しました。パラメータ数は4560億個に達し、一度の活性化で459億個のニューロンが活性化します。総合的な性能は海外のトップモデルと同等であり、最大400万トークンの長いコンテキストを効率的に処理できます。これはGPT-4oの32倍、Claude-3.5-Sonnetの20倍の長さに相当します。
MiniMaxは、2025年がエージェントの高速発展にとって重要な年になると考えています。単一エージェントシステムでも複数エージェントシステムでも、継続的な記憶と大量の通信をサポートするために、より長いコンテキストが必要です。MiniMax-01シリーズモデルの発表は、まさにこのニーズに応えるため、複雑なエージェントの基礎能力構築に向けた第一歩です。
アーキテクチャの革新、効率の最適化、そしてクラスタによるトレーニングと推論の一体化設計により、MiniMaxは業界最低価格帯でテキストとマルチモーダル理解のAPIサービスを提供できます。標準価格は、入力トークンが1元/100万トークン、出力トークンが8元/100万トークンです。MiniMaxオープンソースプラットフォームと海外版は既に公開されており、開発者は利用できます。
MiniMax-01シリーズモデルはGitHubでオープンソース化されており、継続的に更新されます。業界で主流のテキストとマルチモーダル理解の評価において、MiniMax-01シリーズは多くのタスクで、海外で広く認められている最先端モデルであるGPT-4o-1120とClaude-3.5-Sonnet-1022に匹敵する結果を示しました。特に長文タスクでは、GoogleのGeminiモデルと比較して、MiniMax-Text-01は入力の長さが増加しても性能の低下が最も遅く、Geminiを大幅に上回っています。
MiniMaxのモデルは、長い入力の処理において非常に効率的で、ほぼ線形的な複雑度です。その構造設計では、8層のうち7層でLightning Attentionに基づく線形アテンションを使用し、1層で従来のSoftMaxアテンションを使用しています。これは、線形アテンションメカニズムを商用モデルレベルに拡張した初めての事例です。MiniMaxは、スケーリング則、MoEとの組み合わせ、構造設計、トレーニングの最適化、推論の最適化などを総合的に考慮し、トレーニングと推論システムを再構築しました。これには、より効率的なMoE All-to-all通信の最適化、より長いシーケンスの最適化、そして推論レベルでの線形アテンションの高効率カーネルの実装が含まれています。
ほとんどの学術データセットにおいて、MiniMax-01シリーズは海外のトップクラスの結果に匹敵する成果を上げています。特に長いコンテキストの評価データセットでは顕著に優れており、400万トークンのNeedle-In-A-Haystack検索タスクで優れたパフォーマンスを示しました。学術データセットに加えて、MiniMaxは現実世界のデータに基づいたアシスタントシナリオのテストデータセットも構築しており、MiniMax-Text-01はこのシナリオで優れた結果を示しています。マルチモーダル理解のテストデータセットでも、MiniMax-VL-01は比較的優れています。
オープンソースアドレス：https://github.com/MiniMax-AI
