कृत्रिम बुद्धिमत्ता के तेजी से विकास में, लंबी पाठ संदर्भ समझ और पुनर्प्राप्ति-संवर्धित उत्पन्न (RAG) की क्षमता अत्यंत महत्वपूर्ण हो गई है। Nvidia AI का नवीनतम शोध - ChatQA2 मॉडल, इसी चुनौती का सामना करने के लिए विकसित किया गया है। शक्तिशाली Llama3 मॉडल पर आधारित, ChatQA2 ने बड़ी मात्रा में पाठ इनपुट को संसाधित करने और सटीक, प्रभावी प्रतिक्रियाएँ प्रदान करने में महत्वपूर्ण प्रगति की है।
प्रदर्शन में突破: ChatQA2 ने संदर्भ विंडो को 128K टोकन तक बढ़ाकर और तीन चरणों के निर्देश समायोजन प्रक्रिया को अपनाकर, निर्देश पालन क्षमता, RAG प्रदर्शन और लंबी पाठ समझ में उल्लेखनीय वृद्धि की है। यह तकनीकी突破 मॉडल को 10 अरब टोकन के डेटा सेट को संसाधित करते समय संदर्भ की निरंतरता और उच्च पुनः प्राप्ति दर बनाए रखने की अनुमति देता है।
तकनीकी विवरण: ChatQA2 के विकास में विस्तृत और पुनरुत्पादनीय तकनीकी योजना का उपयोग किया गया है। मॉडल ने पहले निरंतर पूर्व-प्रशिक्षण के माध्यम से Llama3-70B के संदर्भ विंडो को 8K से 128K टोकन तक बढ़ाया। इसके बाद, तीन चरणों की निर्देश समायोजन प्रक्रिया लागू की गई, यह सुनिश्चित करते हुए कि मॉडल विभिन्न कार्यों को प्रभावी ढंग से संभाल सके।
मूल्यांकन परिणाम: InfiniteBench मूल्यांकन में, ChatQA2 ने लंबी पाठ संक्षेपण, प्रश्न-उत्तर, बहुविकल्पीय और संवाद जैसे कार्यों पर GPT-4-Turbo-2024-0409 के समान सटीकता प्राप्त की, और RAG मानक परीक्षण में इसे पार कर लिया। यह उपलब्धि ChatQA2 की विभिन्न संदर्भ लंबाई और कार्यक्षमता में व्यापक क्षमता को उजागर करती है।
महत्वपूर्ण समस्याओं का समाधान: ChatQA2 ने RAG प्रक्रिया में महत्वपूर्ण समस्याओं जैसे संदर्भ टुकड़ों और निम्न पुनः प्राप्ति दर को संबोधित किया, अत्याधुनिक लंबी पाठ पुनर्प्राप्ति उपकरण का उपयोग करके पुनर्प्राप्ति की सटीकता और दक्षता में सुधार किया।
संदर्भ विंडो का विस्तार करके और तीन चरणों की निर्देश समायोजन प्रक्रिया लागू करके, ChatQA2 ने GPT-4-Turbo के समान लंबी पाठ समझ और RAG प्रदर्शन प्राप्त किया है। यह मॉडल विभिन्न डाउनस्ट्रीम कार्यों के लिए लचीले समाधान प्रदान करता है, उन्नत लंबी पाठ और पुनर्प्राप्ति-संवर्धित उत्पन्न तकनीक के माध्यम से सटीकता और दक्षता का संतुलन बनाता है।
पत्र का लिंक: https://arxiv.org/abs/2407.14482