PowerInfer-2 est un framework d'inférence optimisé pour les smartphones, prenant en charge les modèles MoE jusqu'à 47 milliards de paramètres et atteignant une vitesse d'inférence de 11,68 jetons par seconde, soit 22 fois plus rapide que les autres frameworks. Grâce au calcul hétérogène et à la technique de pipeline I/O-Calcul, il réduit considérablement l'utilisation de la mémoire et améliore la vitesse d'inférence. Ce framework est idéal pour le déploiement de grands modèles sur les appareils mobiles, renforçant ainsi la confidentialité des données et les performances.