हाल ही में, एप्पल कंपनी ने मशीन लर्निंग के क्षेत्र में अपने नवीनतम अनुसंधान में दिखाया है कि उन्होंने NVIDIA के साथ सहयोग करके बड़े भाषा मॉडल (LLM) की उत्पादन गति को लगभग तीन गुना बढ़ा दिया है। इस प्रगति की कुंजी एप्पल की ओपन-सोर्स तकनीक "Recurrent Drafter" (ReDrafter) है, जो एक अनुमानात्मक डिकोडिंग विधि का उपयोग करती है, जिससे मॉडल प्रशिक्षण की दक्षता में काफी सुधार होता है।
पिछले समय में, बड़े भाषा मॉडल बनाने की प्रक्रिया आमतौर पर बहुत समय लेने वाली और संसाधनों की आवश्यकता होती थी, कंपनियों को अक्सर बहुत सारे हार्डवेयर उपकरण खरीदने की आवश्यकता होती थी, जिससे संचालन की लागत बढ़ जाती थी। 2024 की शुरुआत में, एप्पल ने ReDrafter जारी किया, जो पुनरावर्ती तंत्रिका नेटवर्क और गतिशील वृक्ष ध्यान विधियों को जोड़ता है, जिससे टैग उत्पन्न करने की गति पारंपरिक स्वचालित रिग्रेशन विधियों की तुलना में 3.5 गुना बढ़ जाती है।
इस सप्ताह, एप्पल ने आगे घोषणा की कि वे NVIDIA के साथ सहयोग में ReDrafter को NVIDIA के TensorRT-LLM अनुमानित त्वरक ढांचे में एकीकृत कर रहे हैं। यह कदम NVIDIA GPU का उपयोग करने वाले मशीन लर्निंग डेवलपर्स को उत्पादन वातावरण में ReDrafter की त्वरित सुविधाओं का लाभ उठाने में सक्षम बनाएगा। यह उल्लेखनीय है कि जबकि उच्च प्रदर्शन वाले मल्टी-GPU सर्वर आमतौर पर महंगे होते हैं, यह सहयोग विलंबता को कम करते हुए आवश्यक हार्डवेयर की संख्या को कम कर एक अधिक आर्थिक समाधान प्रदान करेगा।
NVIDIA के साथ किए गए बेंचमार्क परीक्षण में, ReDrafter का उत्पादन दक्षता में महत्वपूर्ण वृद्धि हुई है, लालची कोडिंग मोड में प्रति सेकंड उत्पन्न किए गए टोकन की गति 2.7 गुना बढ़ गई है। इसका मतलब है कि डेवलपर्स कम समय में अधिक परिणाम प्राप्त कर सकते हैं, जिससे उपयोगकर्ताओं को तेजी से सेवा अनुभव मिल सके।
एप्पल ने NVIDIA के साथ सहयोग की पुष्टि करते हुए कहा कि वे मॉडल प्रशिक्षण की दक्षता बढ़ाने के लिए अमेज़न के Trainium2 चिप का उपयोग करने पर विचार कर रहे हैं। अनुमान है कि Trainium2 का उपयोग करके पूर्व-प्रशिक्षण की दक्षता मौजूदा हार्डवेयर की तुलना में 50% अधिक होगी।
आधिकारिक ब्लॉग: https://developer.nvidia.com/blog/nvidia-tensorrt-llm-now-supports-recurrent-drafting-for-optimizing-llm-inference/
मुख्य बिंदु:
🌟 एप्पल और NVIDIA के सहयोग से बड़े भाषा मॉडल की उत्पादन गति लगभग तीन गुना बढ़ी।
🚀 ओपन-सोर्स तकनीक ReDrafter पुनरावर्ती तंत्रिका नेटवर्क को जोड़कर मॉडल प्रशिक्षण की दक्षता में महत्वपूर्ण सुधार करती है।
💰 यह सहयोग लागत को कम करने में मदद करता है, मशीन लर्निंग डेवलपर्स के लिए अधिक प्रभावी समाधान प्रदान करता है।
