हाल ही में, ओपन-सोर्स प्लेटफ़ॉर्म Hugging Face और NVIDIA ने एक रोमांचक नई सेवा - इनफेरेंस-एज़-ए-सेवा (Inference-as-a-Service) की घोषणा की, जो NVIDIA की NIM तकनीक द्वारा संचालित होगी। इस नई सेवा के लॉन्च से डेवलपर्स को Hugging Face Hub पर उपलब्ध ओपन-सोर्स AI मॉडलों का उपयोग करके तेजी से प्रोटोटाइप डिजाइन करने और कुशलता से तैनाती करने में मदद मिलेगी।
यह खबर चल रहे SIGGRAPH2024 सम्मेलन में घोषित की गई। यह सम्मेलन कंप्यूटर ग्राफ़िक्स और इंटरैक्टिव तकनीकों के विशेषज्ञों की एक बड़ी संख्या को एकत्रित करता है, और NVIDIA और Hugging Face का सहयोग इस समय सामने आया है, जिससे डेवलपर्स के लिए नए अवसर पैदा हुए हैं। इस सेवा के माध्यम से, डेवलपर्स शक्तिशाली बड़े भाषा मॉडल (LLMs) को आसानी से तैनात कर सकते हैं, जैसे कि Llama2 और Mistral AI मॉडल, जबकि NVIDIA की NIM माइक्रोसर्विस इन मॉडलों के लिए अनुकूलन प्रदान करती है।
विशेष रूप से, जब NIM के रूप में एक्सेस किया जाता है, तो 70 अरब पैरामीटर वाले Llama3 मॉडल की प्रोसेसिंग स्पीड मानक NVIDIA H100 Tensor Core GPU सिस्टम पर तैनाती के मुकाबले पांच गुना अधिक होती है, जो निश्चित रूप से एक बड़ा सुधार है। इसके अलावा, यह नई सेवा "DGX Cloud पर प्रशिक्षण" का समर्थन करती है, जो वर्तमान में Hugging Face पर उपलब्ध है।
NVIDIA का NIM एक AI माइक्रोसर्विस का सेट है जो इनफेरेंस ऑप्टिमाइज़ेशन के लिए है, जो NVIDIA के AI बेस मॉडल और ओपन-सोर्स कम्युनिटी मॉडल को कवर करता है। यह मानक API के माध्यम से टोकन प्रोसेसिंग दक्षता को महत्वपूर्ण रूप से बढ़ाता है, और NVIDIA DGX Cloud की बुनियादी ढांचे को मजबूत करता है, AI अनुप्रयोगों की प्रतिक्रिया गति और स्थिरता को तेज करता है।
NVIDIA DGX Cloud प्लेटफ़ॉर्म जनरेटिव AI के लिए विशेष रूप से डिज़ाइन किया गया है, जो विश्वसनीय और तेज़ कंप्यूटिंग बुनियादी ढांचा प्रदान करता है, जिससे डेवलपर्स को प्रोटोटाइप से उत्पादन तक की पूरी प्रक्रिया में मदद मिलती है, बिना लंबे समय के अनुबंध के। Hugging Face और NVIDIA के बीच सहयोग डेवलपर समुदाय को और मजबूत करेगा, और Hugging Face ने हाल ही में घोषणा की है कि उनकी टीम ने लाभप्रदता हासिल की है, टीम का आकार 220 लोगों तक पहुँच गया है, और SmolLM श्रृंखला के छोटे भाषा मॉडल लॉन्च किए हैं।
मुख्य बिंदु:
🌟 Hugging Face और NVIDIA ने इनफेरेंस-एज़-ए-सेवा लॉन्च की, AI मॉडलों के टोकन प्रोसेसिंग दक्षता को पांच गुना बढ़ाया।
🚀 नई सेवा शक्तिशाली LLM मॉडल की त्वरित तैनाती का समर्थन करती है, विकास प्रक्रिया को अनुकूलित करती है।
💡 NVIDIA DGX Cloud प्लेटफ़ॉर्म जनरेटिव AI के लिए तेज़ बुनियादी ढांचा प्रदान करता है, डेवलपर्स के उत्पादन प्रक्रिया को सरल बनाता है।
