आज की तेजी से विकसित हो रही कृत्रिम बुद्धिमत्ता तकनीक में, विभिन्न हार्डवेयर पर प्रभावी मॉडल इनफेरेंस लागू करना डेवलपर्स के लिए एक महत्वपूर्ण चुनौती बन गया है। हाल ही में, डेवलपर एंड्री डेविड ने लगभग बीस साल पुरानी Xbox360 गेम कंसोल से प्रेरणा ली, और उन्होंने सफलतापूर्वक मेटा एआई के लामा LLM श्रृंखला के एक हल्के मॉडल - llama2.c को इस पुराने गेम कंसोल पर पोर्ट किया।
डेविड ने सोशल मीडिया प्लेटफॉर्म X पर अपनी इस उपलब्धि को साझा किया, और कहा कि वह जिस चुनौती का सामना कर रहे थे, वह बहुत बड़ी थी। Xbox360 का PowerPC CPU big-endian आर्किटेक्चर का उपयोग करता है, जिसका मतलब है कि मॉडल के कॉन्फ़िगरेशन और वेट लोड करते समय, बहुत सारे endian रूपांतरण करने की आवश्यकता थी। इसके अलावा, डेविड को मूल कोड में गहरी समायोजन और अनुकूलन करने की आवश्यकता थी ताकि यह इस पुराने हार्डवेयर पर सुचारू रूप से चल सके।
मेमोरी प्रबंधन भी एक बड़ी समस्या थी जिसे उसे हल करना था। llama2 मॉडल का आकार 60MB है, जबकि Xbox360 की मेमोरी आर्किटेक्चर एकीकृत मेमोरी है, जिसका मतलब है कि CPU और GPU को एक ही मेमोरी साझा करनी पड़ती है। इसने डेविड को मेमोरी के उपयोग को डिजाइन करते समय बहुत सावधान रहने के लिए मजबूर किया। उन्होंने माना कि हालाँकि Xbox360 की मेमोरी सीमित है, लेकिन उस समय इसकी आर्किटेक्चर अत्यधिक भविष्यदृष्टा थी, जिसने आधुनिक गेम कंसोल और APU की मानक मेमोरी प्रबंधन तकनीक का पूर्वानुमान लगाया।
बार-बार कोडिंग और अनुकूलन के बाद, डेविड अंततः Xbox360 पर llama2 मॉडल को चलाने में सफल रहे, केवल एक साधारण संकेत की आवश्यकता थी: "सोते हुए जो ने कहा"। उल्लेखनीय है कि llama2 मॉडल में केवल 700 पंक्तियाँ C कोड हैं, और इसमें कोई बाहरी निर्भरता नहीं है, जिससे यह विशिष्ट क्षेत्रों में अनुकूलन के तहत "आश्चर्यजनक" शक्तिशाली प्रदर्शन कर सकता है।
अन्य डेवलपर्स के लिए, डेविड की सफलता ने उन्हें एक नया दिशा दिया है। कुछ उपयोगकर्ताओं ने सुझाव दिया कि Xbox360 की 512MB मेमोरी शायद अन्य छोटे LLM के कार्यान्वयन का समर्थन कर सकती है, जैसे कि Hugging Face द्वारा विकसित smolLM। डेविड ने इसका स्वागत किया, और भविष्य में हमें Xbox360 पर LLM के बारे में और प्रयोगात्मक परिणाम देखने को मिल सकते हैं।
