MiniMax-01は、4,560億パラメーターを持つ強力な言語モデルです。各トークンは459億パラメーターを活性化します。このモデルは、閃光注意力、softmax注意力、専門家混合（MoE）を組み合わせたハイブリッドアーキテクチャを採用しています。高度な並列化戦略と革新的な計算通信オーバーラップ手法（LASP+、Varlen環状注意力、専門家テンソル並列化（ETP）など）により、トレーニングコンテキスト長を100万トークンに拡張し、推論時には最大400万トークンのコンテキストを処理できます。複数の学術ベンチマークテストにおいて、MiniMax-01はトップレベルのパフォーマンスを示しています。