Pruna AI एक यूरोपीय स्टार्टअप है जो AI मॉडल के लिए संपीड़न एल्गोरिदम विकसित करने पर केंद्रित है। हाल ही में, कंपनी ने अपने ऑप्टिमाइज़ेशन फ़्रेमवर्क को ओपन सोर्स करने की घोषणा की है ताकि डेवलपर्स को AI मॉडल को अधिक कुशलतापूर्वक संपीड़ित करने में मदद मिल सके।
Pruna AI द्वारा विकसित फ़्रेमवर्क कई दक्षता विधियों को जोड़ता है, जिसमें कैशिंग, प्रूनिंग, क्वांटाइज़ेशन और डिस्टिलेशन शामिल हैं, जिसका उद्देश्य AI मॉडल के प्रदर्शन को बेहतर बनाना है। यह फ़्रेमवर्क न केवल संपीड़ित मॉडल के सहेजने और लोड करने को मानकीकृत करता है, बल्कि संपीड़ित मॉडल का मूल्यांकन भी करता है ताकि यह जांचा जा सके कि क्या उसकी गुणवत्ता में कोई महत्वपूर्ण गिरावट आई है, साथ ही संपीड़न से होने वाले प्रदर्शन में वृद्धि को भी मापता है।
Pruna AI के सह-संस्थापक और मुख्य तकनीकी अधिकारी जॉन राचवान (John Rachwan) ने कहा: "हमारा फ़्रेमवर्क ट्रांसफ़ॉर्मर्स और डिफ़्यूज़र्स के लिए हगिंग फेस के मानकीकरण के समान है, हम सभी प्रकार की दक्षता विधियों के लिए एक समान कॉलिंग और उपयोग विधि प्रदान करते हैं।" बड़ी कंपनियां जैसे OpenAI अपने मॉडल में कई संपीड़न विधियों का उपयोग कर चुकी हैं, जैसे कि अपने प्रमुख मॉडल के तेज़ संस्करण बनाने के लिए डिस्टिलेशन तकनीक का उपयोग करना।
डिस्टिलेशन "टीचर-छात्र" मॉडल से ज्ञान निकालने की एक तकनीक है, जिसमें डेवलपर्स टीचर मॉडल को अनुरोध भेजते हैं और आउटपुट रिकॉर्ड करते हैं। इन आउटपुट का उपयोग बाद में छात्र मॉडल को प्रशिक्षित करने के लिए किया जाता है, जिससे वह टीचर मॉडल के व्यवहार का अनुकरण कर सके। राचवान ने बताया कि जबकि कई बड़ी कंपनियां अपने संपीड़न उपकरण स्वयं बनाने का रुझान रखती हैं, ओपन सोर्स समुदाय में अक्सर केवल एकल-विधि आधारित समाधान ही मिलते हैं, जबकि Pruna AI कई विधियों को एकीकृत करने वाला एक उपकरण प्रदान करता है, जिससे उपयोग की प्रक्रिया बहुत सरल हो जाती है।
वर्तमान में, Pruna AI का फ़्रेमवर्क कई प्रकार के मॉडल का समर्थन करता है, जिसमें बड़े भाषा मॉडल, डिफ़्यूज़न मॉडल, स्पीच रिकॉग्निशन मॉडल और कंप्यूटर विज़न मॉडल शामिल हैं। लेकिन कंपनी वर्तमान में मुख्य रूप से छवि और वीडियो जनरेटिंग मॉडल के अनुकूलन पर केंद्रित है। Scenario और PhotoRoom जैसी कंपनियां पहले से ही Pruna AI की सेवाओं का उपयोग कर रही हैं।
ओपन सोर्स संस्करण के अलावा, Pruna AI ने एक एंटरप्राइज़ संस्करण भी जारी किया है, जिसमें उन्नत अनुकूलन सुविधाएँ और एक अनुकूलन एजेंट शामिल है। राचवान ने बताया: "हमारी सबसे रोमांचक सुविधा जो जल्द ही जारी होने वाली है, वह है संपीड़न एजेंट, उपयोगकर्ताओं को केवल मॉडल प्रदान करने और गति और सटीकता की आवश्यकताएँ निर्धारित करने की आवश्यकता है, एजेंट स्वचालित रूप से सबसे अच्छा संपीड़न संयोजन ढूंढ लेगा।"
Pruna AI प्रति घंटे शुल्क लेता है, जैसे कि उपयोगकर्ता क्लाउड सेवाओं पर GPU किराए पर लेते हैं। अनुकूलित मॉडल का उपयोग करके, कंपनियां अनुमान लगाते समय बहुत अधिक लागत बचा सकती हैं। उदाहरण के लिए, Pruna AI ने एक Llama मॉडल के आकार को आठ गुना कम कर दिया है, और लगभग कोई सटीकता नहीं खोई है। कंपनी को उम्मीद है कि ग्राहक इसके संपीड़न फ़्रेमवर्क को एक निवेश के रूप में देखेंगे जो अंततः लाभदायक होगा।
हाल ही में, Pruna AI ने 650 मिलियन डॉलर का सीड फंडिंग पूरा किया है, जिसमें निवेशकों में EQT Ventures, Daphni, Motier Ventures और Kima Ventures शामिल हैं।
प्रोजेक्ट: https://github.com/PrunaAI/pruna
मुख्य बातें:
🌟 Pruna AI ने ओपन सोर्स ऑप्टिमाइज़ेशन फ़्रेमवर्क लॉन्च किया है, जो कई संपीड़न विधियों को जोड़कर AI मॉडल के प्रदर्शन को बेहतर बनाता है।
🤖 बड़ी कंपनियां अक्सर डिस्टिलेशन जैसी तकनीकों का उपयोग करती हैं, Pruna AI कई विधियों को एकीकृत करने वाला एक उपकरण प्रदान करता है, जिससे उपयोग की प्रक्रिया सरल हो जाती है।
💰 एंटरप्राइज़ संस्करण उन्नत सुविधाओं का समर्थन करता है, जिससे उपयोगकर्ताओं को सटीकता बनाए रखते हुए मॉडल संपीड़न और प्रदर्शन में वृद्धि करने में मदद मिलती है।