कृत्रिम बुद्धिमत्ता (AI) तेजी से बुद्धिमान होती जा रही है, विशेषकर बड़े भाषा मॉडल (LLMs), जो प्राकृतिक भाषा को समझने में अद्भुत क्षमता रखते हैं। लेकिन क्या आप जानते हैं? इन बुद्धिमान AI दिमागों के पीछे, इसके लिए विशाल कंप्यूटिंग शक्ति और भंडारण स्थान की आवश्यकता होती है।
एक बहुभाषी मॉडल Bloom, जिसमें 1760 अरब पैरामीटर हैं, केवल मॉडल के वजन को संग्रहीत करने के लिए कम से कम 350GB स्थान की आवश्यकता होती है, और इसे चलाने के लिए कई उच्च गुणवत्ता वाले GPU की आवश्यकता होती है। यह न केवल महंगा है, बल्कि इसे व्यापक रूप से लागू करना भी मुश्किल है।
इस समस्या का समाधान करने के लिए, शोधकर्ताओं ने "क्वांटाइजेशन" नामक एक तकनीक का प्रस्ताव रखा। क्वांटाइजेशन, जैसे AI दिमाग को "पतला" करने की प्रक्रिया है, जिसमें मॉडल के वजन और सक्रियण को कम बिट्स वाले डेटा प्रारूप में मैप किया जाता है, न केवल मॉडल के आकार को कम करता है, बल्कि मॉडल की कार्यक्षमता को भी तेज करता है। लेकिन इस प्रक्रिया में कुछ सटीकता का नुकसान भी हो सकता है।
इस चुनौती का सामना करते हुए, बीजिंग एरोस्पेस यूनिवर्सिटी और सेंगटांग टेक्नोलॉजी के शोधकर्ताओं ने LLMC टूलकिट का संयुक्त विकास किया। LLMC एक AI का व्यक्तिगत वजन घटाने का प्रशिक्षक है, जो शोधकर्ताओं और डेवलपर्स को सबसे उपयुक्त "वजन घटाने योजना" खोजने में मदद करता है, जिससे AI मॉडल हल्का हो जाता है, बिना इसके "बुद्धिमत्ता स्तर" को प्रभावित किए।
LLMC टूलकिट की तीन प्रमुख विशेषताएँ:
विविधता: LLMC 16 विभिन्न क्वांटाइजेशन विधियाँ प्रदान करता है, जैसे AI के लिए 16 विभिन्न वजन घटाने की रेसिपी। चाहे आपका AI पूरे शरीर का वजन घटाना चाहता हो या कुछ विशेष क्षेत्रों में, LLMC आपकी जरूरतों को पूरा कर सकता है।
कम लागत: LLMC संसाधनों की बहुत बचत करता है, यहां तक कि सुपर-साइज मॉडल को संसाधित करने के लिए भी बहुत कम हार्डवेयर समर्थन की आवश्यकता होती है। उदाहरण के लिए, केवल एक 40GB A100 GPU का उपयोग करके, 1750 अरब पैरामीटर वाले OPT-175B मॉडल को समायोजित और मूल्यांकन किया जा सकता है। यह जैसे घरेलू ट्रेडमिल का उपयोग करके ओलंपिक चैंपियन को प्रशिक्षित करने के समान प्रभावी है!
उच्च संगतता: LLMC विभिन्न क्वांटाइजेशन सेटिंग्स और मॉडल प्रारूपों का समर्थन करता है, और विभिन्न बैकएंड और हार्डवेयर प्लेटफार्मों के साथ संगत है। यह एक सर्वव्यापी प्रशिक्षक की तरह है, चाहे आप कोई भी उपकरण का उपयोग करें, यह आपको उपयुक्त प्रशिक्षण योजना बनाने में मदद करेगा।
LLMC का व्यावहारिक उपयोग: AI को और अधिक बुद्धिमान और ऊर्जा-कुशल बनाना
LLMC टूलकिट का आगमन बड़े भाषा मॉडल के क्वांटाइजेशन के लिए एक व्यापक और निष्पक्ष बेंचमार्क परीक्षण प्रदान करता है। यह प्रशिक्षण डेटा, एल्गोरिदम और डेटा प्रारूप जैसे तीन प्रमुख कारकों पर विचार करता है, उपयोगकर्ताओं को सर्वश्रेष्ठ प्रदर्शन अनुकूलन योजना खोजने में मदद करता है।
व्यावहारिक उपयोग में, LLMC शोधकर्ताओं और डेवलपर्स को उपयुक्त एल्गोरिदम और कम बिट प्रारूप को अधिक कुशलता से एकीकृत करने में मदद कर सकता है, जिससे बड़े भाषा मॉडल के संकुचन का प्रसार हो सके। इसका मतलब है कि भविष्य में हम अधिक हल्के लेकिन समान रूप से शक्तिशाली AI अनुप्रयोगों को देख सकते हैं।
पत्र के लेखकों ने कुछ दिलचस्प निष्कर्ष और सुझाव साझा किए:
प्रशिक्षण डेटा का चयन करते समय, परीक्षण डेटा के शब्दावली वितरण के साथ अधिक समान डेटा सेट का चयन करना चाहिए, जैसे मनुष्यों को वजन घटाने के लिए अपनी स्थिति के अनुसार उपयुक्त रेसिपी का चयन करना चाहिए।
क्वांटाइजेशन एल्गोरिदम के मामले में, उन्होंने रूपांतरण, काटने और पुनर्निर्माण की तीन मुख्य तकनीकों के प्रभाव की चर्चा की, जैसे वजन घटाने के लिए विभिन्न व्यायाम विधियों की तुलना करना।
पूरे संख्या या फ्लोटिंग पॉइंट क्वांटाइजेशन का चयन करते समय, उन्होंने पाया कि जटिल स्थितियों को संभालने में फ्लोटिंग पॉइंट क्वांटाइजेशन को अधिक लाभ होता है, जबकि कुछ विशेष परिस्थितियों में, पूर्णांक क्वांटाइजेशन बेहतर हो सकता है। यह जैसे विभिन्न वजन घटाने के चरणों में विभिन्न व्यायाम तीव्रता का उपयोग करना।
LLMC टूलकिट का आगमन AI क्षेत्र में एक नई हवा लाया है। यह न केवल शोधकर्ताओं और डेवलपर्स को एक शक्तिशाली सहायक प्रदान करता है, बल्कि AI के भविष्य के विकास को भी दिशा दिखाता है। LLMC के माध्यम से, हम अधिक हल्के, उच्च प्रदर्शन वाले AI अनुप्रयोगों को देखने की उम्मीद कर सकते हैं, जिससे AI वास्तव में हमारे दैनिक जीवन में प्रवेश कर सके।
प्रोजेक्ट पता: https://github.com/ModelTC/llmc
पत्र का पता: https://arxiv.org/pdf/2405.06001
