MiniMax-01 ist ein leistungsstarkes Sprachmodell mit 4560 Milliarden Parametern, wobei jeder Token 45,9 Milliarden Parameter aktiviert. Es verwendet eine hybride Architektur, die Flash-Attention, Softmax-Attention und Mixture of Experts (MoE) kombiniert. Durch fortschrittliche Parallelisierungsstrategien und innovative Methoden zur Überlappung von Berechnung und Kommunikation, wie z. B. Linear Attention Sequence Parallelism Plus (LASP+), Varlen-Ring-Attention und Expert Tensor Parallelism (ETP), wurde die Länge des Trainingskontexts auf 1 Million Token erweitert, während im Inferenzmodus Kontexte mit bis zu 4 Millionen Token verarbeitet werden können. In mehreren akademischen Benchmark-Tests hat MiniMax-01 die Leistung von Top-Modellen gezeigt.