2022 में वैश्विक जनरेटिव एआई लहर के संदर्भ में, मूलभूत बुद्धिमत्ता (RWKV) ने दिसंबर 2023 में लाखों人民币 की एंजेल फंडिंग पूरी की, जिसमें तियानजी कैपिटल ने निवेश किया। इस फंडिंग के बाद, कंपनी का मूल्यांकन दोगुना हो गया, और धन का उपयोग टीम के विस्तार, नई संरचना के विकास और उत्पाद वाणिज्यीकरण के लिए किया जाएगा।
RWKV का उद्भव पारंपरिक ट्रांसफार्मर आर्किटेक्चर के लिए एक शक्तिशाली चुनौती है। बड़े भाषा मॉडल (LLM) के विकास के साथ, हालांकि मॉडल के पैरामीटर का आकार लगातार बढ़ रहा है, लेकिन इसके भ्रम और सटीकता जैसे मुद्दों का समाधान हमेशा मुश्किल रहा है। इसलिए, RWKV की संस्थापक टीम ने अधिक दक्षता और लचीलापन प्राप्त करने के लिए एक पूरी तरह से नई संरचना का पता लगाने का निर्णय लिया।
RWKV का डिज़ाइन सिद्धांत ट्रांसफार्मर से बिल्कुल भिन्न है। सह-संस्थापक लुओ शुआन ने बताया कि पारंपरिक ट्रांसफार्मर मॉडल प्रत्येक बार एक टोकन उत्पन्न करते समय, पूर्व पाठ को फिर से "पढ़ने" की आवश्यकता होती है, जबकि RWKV को प्रत्येक टोकन की स्थिति को रिकॉर्ड करने की आवश्यकता नहीं होती, जिससे गणना की मात्रा में काफी कमी आती है। RWKV ने RNN (रिवर्स न्यूरल नेटवर्क) के लाभों को मिलाकर दक्षता और भाषा मॉडलिंग क्षमताओं में एक突破 हासिल किया है।
इस अभिनव संरचना का लाभ यह है कि RWKV सीमित स्थिति स्थान में जानकारी को संसाधित कर सकता है, और सुदृढ़ीकरण सीखने की विधियों के माध्यम से, मॉडल स्वचालित रूप से यह निर्धारित कर सकता है कि कब पूर्व पाठ की समीक्षा करने की आवश्यकता है, जिससे इसकी याददाश्त क्षमता में सुधार होता है। पारंपरिक मॉडलों की तुलना में, RWKV कई बेंचमार्क परीक्षणों में उत्कृष्ट प्रदर्शन करता है, जो इसकी भाषा सीखने की दक्षता में सुधार को साबित करता है।
वर्तमान में, RWKV ने 0.1B से 14B तक के मॉडल प्रशिक्षण को पूरा कर लिया है, और विदेशों में 32B के पूर्वावलोकन मॉडल को जारी किया है। भविष्य में, मूलभूत बुद्धिमत्ता 2025 में 70B और उससे अधिक पैरामीटर वाले RWKV-7 को लॉन्च करने की योजना बना रही है, और मॉडल प्रदर्शन को और बढ़ाने के लिए नए प्रकार के तर्क फ्रेमवर्क और चिप्स का अन्वेषण करेगी।
व्यवसाय के दृष्टिकोण से, RWKV न केवल ओपन-सोर्स प्रोजेक्ट्स प्रदान करता है, बल्कि व्यावसायिकता की दिशा में सक्रिय रूप से काम कर रहा है, जिसमें एआई संगीत उत्पादन और कंपनियों के साथ सहयोग शामिल है, और पहले से ही राष्ट्रीय ग्रिड जैसी कई कंपनियों के साथ सहयोग कर चुका है। प्रौद्योगिकी के विकास और व्यावसायीकरण की प्रगति के साथ, RWKV बड़े मॉडल क्षेत्र में "एंड्रॉइड और लिनक्स" बनने का प्रयास कर रहा है।
