पॉवरइन्फर एक ऐसा इंजन है जो उपभोक्ता-स्तरीय GPU का उपयोग करके व्यक्तिगत कंप्यूटर पर उच्च-गति वाले बड़े भाषा मॉडल के अनुमान को संभव बनाता है। यह LLM अनुमान में उच्च स्थानीयता की विशेषता का उपयोग करता है, GPU पर पूर्व-लोड किए गए सक्रिय न्यूरॉन्स को लाकर, जिससे GPU मेमोरी की आवश्यकता और CPU-GPU डेटा ट्रांसफर को काफी कम किया जा सकता है। पॉवरइन्फर में अनुकूली भविष्यवक्ता और न्यूरॉन-जागरूक विरल ऑपरेटर भी एकीकृत हैं, जो न्यूरॉन सक्रियण और गणना विरलता की दक्षता को अनुकूलित करते हैं। यह एकल NVIDIA RTX 4090 GPU पर औसतन 13.20 टोकन प्रति सेकंड की पीढ़ी दर से अनुमान लगा सकता है, जो शीर्ष सर्वर-स्तरीय A100 GPU से केवल 18% कम है। साथ ही मॉडल की सटीकता भी बरकरार रहती है।