PowerInfer-2
स्मार्टफ़ोन के लिए डिज़ाइन किया गया एक कुशल बड़ा भाषा मॉडल अनुमान ढाँचा
सामान्य उत्पादप्रोग्रामिंगस्मार्टफ़ोनबड़ा मॉडल
PowerInfer-2 एक ऐसा अनुमान ढाँचा है जो विशेष रूप से स्मार्टफ़ोन के लिए अनुकूलित है, जो 47B पैरामीटर तक के MoE मॉडल का समर्थन करता है, और प्रति सेकंड 11.68 टोकन की अनुमान गति प्राप्त करता है, जो अन्य फ़्रेमवर्क से 22 गुना तेज है। यह विषम कंप्यूटिंग और I/O-Compute पाइपलाइन तकनीक के माध्यम से मेमोरी उपयोग को कम करता है और अनुमान गति को बढ़ाता है। यह ढाँचा उन परिदृश्यों के लिए उपयुक्त है जहाँ बड़े मॉडल को मोबाइल उपकरणों पर तैनात करने की आवश्यकता होती है, ताकि डेटा गोपनीयता और प्रदर्शन को बढ़ाया जा सके।