आजकल बड़े मॉडल (Large Language Model, LLM) के तेजी से विकास के चलते, मॉडल के प्रशिक्षण और अनुमान लागत अनुसंधान और अनुप्रयोग का ध्यान केंद्र बन गए हैं। हाल ही में, Tencent混元 टीम ने एक महत्वपूर्ण अनुसंधान जारी किया है, जो कम बिट फ़्लोट क्वांटिज़ेशन प्रशिक्षण के "Scaling Laws" को गहराई से खोज करता है, अर्थात् फ़्लोट मात्रा का प्रशिक्षण के पैमाने के नियम। इस अनुसंधान का मुख्य उद्देश्य मॉडल की सटीकता को कम करके यह पता लगाना है कि कैसे बिना प्रदर्शन खोए, गणना और भंडारण लागत को काफी कम किया जा सकता है। अनुसंधान टीम ने