आजकल बड़े मॉडल (Large Language Model, LLM) के तेजी से विकास के चलते, मॉडल के प्रशिक्षण और अनुमान लागत अनुसंधान और अनुप्रयोग का ध्यान केंद्र बन गए हैं। हाल ही में, Tencent混元 टीम ने एक महत्वपूर्ण अनुसंधान जारी किया है, जो कम बिट फ़्लोट क्वांटिज़ेशन प्रशिक्षण के "Scaling Laws" को गहराई से खोज करता है, अर्थात् फ़्लोट मात्रा का प्रशिक्षण के पैमाने के नियम। इस अनुसंधान का मुख्य उद्देश्य मॉडल की सटीकता को कम करके यह पता लगाना है कि कैसे बिना प्रदर्शन खोए, गणना और भंडारण लागत को काफी कम किया जा सकता है। अनुसंधान टीम ने

बड़े AI मॉडल (जैसे Transformer और भाषा मॉडल) का प्रशिक्षण AI क्षेत्र में एक अनिवार्य कुंजी पहलू बन गया है, लेकिन यह उच्च गणना लागत, मेमोरी खपत और ऊर्जा की आवश्यकता जैसी चुनौतियों का सामना कर रहा है। उदाहरण के लिए, OpenAI का GPT-3 के पास 1750 करोड़ पैरामीटर हैं, जिसे GPU प्रशिक्षण के लिए कई हफ्तों की आवश्यकता होती है। इन विशाल संसाधनों की आवश्यकता ने इस तकनीक के बड़े पैमाने पर गणना संसाधनों वाले संगठनों में उपयोग को सीमित कर दिया है, साथ ही ऊर्जा दक्षता और पर्यावरणीय प्रभाव के बारे में चिंताओं को बढ़ावा दिया है। इन चुनौतियों का समाधान करना AI के विकास को अधिक व्यापक रूप से सुलभ बनाने के लिए आवश्यक है।

Anthropic के सीईओ का अनुमान है कि अगले तीन वर्षों में एआई मॉडल प्रशिक्षण लागत में महत्वपूर्ण वृद्धि होगी, जो वर्तमान में 1 बिलियन डॉलर से बढ़कर 1000 बिलियन डॉलर तक पहुँच सकती है, जिससे उद्योग में लागत की सीमा और एआई बुलबुले की संभावना पर चर्चा बढ़ेगी। इस लागत में वृद्धि का मुख्य कारण हार्डवेयर की बढ़ती मांग है, विशेष रूप से एआई मॉडल के तेज़ी से विस्तार के लिए उच्च प्रदर्शन कंप्यूटिंग हार्डवेयर (विशेष रूप से GPU और डेटा सेंटर ऊर्जा) की मांग। इसके अलावा, जनरेटिव से सामान्य प्रयोजन की दिशा में आर्टिफिशियल इंटेलिजेंस के विकास के साथ, बुनियादी सिद्धांत।