PowerInfer-2 ist ein speziell für Smartphones optimiertes Inferenz-Framework, das MoE-Modelle mit bis zu 47 Milliarden Parametern unterstützt und eine Inferenzgeschwindigkeit von 11,68 Tokens pro Sekunde erreicht – 22-mal schneller als vergleichbare Frameworks. Durch heterogenes Computing und I/O-Compute-Pipeline-Technologie wird der Speicherverbrauch deutlich reduziert und die Inferenzgeschwindigkeit erhöht. Das Framework eignet sich für Szenarien, in denen große Modelle auf mobilen Geräten eingesetzt werden sollen, um die Datenprivatsphäre und die Leistung zu verbessern.