हाल ही में, आर्टिफिशियल इंटेलिजेंस के क्षेत्र में एक बार फिर हलचल मची है, मूनशॉट (Moonshot) ने अपने नए ऑप्टिमाइज़र म्यूऑन को ओपन सोर्स किया है, जिससे गणना दक्षता पारंपरिक एडमडब्ल्यू के मुकाबले दोगुनी हो गई है। इस नए ऑप्टिमाइज़र का लॉन्च डीपसीक के लगातार कई कोड बेस ओपन सोर्स करने के साथ हुआ है, जिससे उद्योग में बहुत ध्यान और चर्चा हुई है। म्यूऑन ऑप्टिमाइज़र को शुरू में 2024 में ओपनएआई के शोधकर्ता केलर जॉर्डन ने प्रस्तुत किया था, जो छोटे पैमाने के मॉडल प्रशिक्षण में उत्कृष्ट प्रदर्शन करता है।

कृत्रिम बुद्धिमत्ता के क्षेत्र में, बड़े भाषा मॉडल (LLMs) का प्रशिक्षण तकनीकी प्रगति को बढ़ावा देने के लिए एक महत्वपूर्ण दिशा बन गया है। हालाँकि, जैसे-जैसे मॉडल का आकार और डेटा सेट बढ़ता है, पारंपरिक अनुकूलन विधियाँ - विशेष रूप से AdamW - अपनी सीमाएँ प्रकट करने लगती हैं। शोधकर्ताओं को उच्च गणना लागत, अस्थिर प्रशिक्षण जैसी चुनौतियों का सामना करना पड़ता है, जिसमें ग्रेडिएंट का गायब होना या विस्फोट होना, पैरामीटर मैट्रिक्स का असंगत अद्यतन और वितरित वातावरण में उच्च संसाधन आवश्यकताएँ शामिल हैं। इसलिए, इन जटिलताओं का सामना करने के लिए और अधिक प्रभावी और स्थिर अनुकूलन तकनीकों की तत्काल आवश्यकता है।

AI की दुनिया में, बड़े प्रयासों से चमत्कार करना एक सुनहरे नियम की तरह लग रहा है। जैसे-जैसे मॉडल बड़ा होता है, डेटा बढ़ता है, और कंप्यूटिंग शक्ति मजबूत होती है, ऐसा प्रतीत होता है कि हम बुद्धिमत्ता के पवित्र ग्रंथ के और करीब पहुँच रहे हैं। हालाँकि, इस तेज़ी के पीछे विशाल लागत और ऊर्जा का दबाव भी छिपा है। AI के प्रशिक्षण को अधिक कुशल बनाने के लिए, वैज्ञानिक अधिक शक्तिशाली ऑप्टिमाइज़रों की तलाश में हैं, जैसे कि एक कोच जो मॉडल के पैमानों को लगातार अनुकूलित करने में मार्गदर्शन करता है, अंततः सर्वोत्तम स्थिति तक पहुंचता है। AdamW ट्रांसफार्मर प्री-ट्रेनिंग के लिए डिफ़ॉल्ट ऑप्टिमाइज़र के रूप में कई वर्षों से उद्योग का मानक बना हुआ है।