बैकचेन इंटेलिजेंस ने तियानजिन विश्वविद्यालय के साथ मिलकर "Sibyl System" नामक एक स्मार्ट फ्रेमवर्क पेश किया है, और GAIA लीडर बोर्ड पर पहले स्थान पर पहुंच गया है। GAIA, Meta, Huggingface और AutoGPT द्वारा नवंबर 2023 में प्रस्तुत एक नई मूल्यांकन योजना है, जो मुख्य रूप से एजेंट की जटिल कार्य निष्पादन क्षमता और योजना का मूल्यांकन करती है। यह मूल्यांकन योजना मौजूदा मॉडलों की क्षमता की कमियों को उजागर करती है और मॉडलों और एजेंटों के विकास के लिए सुधार के दिशा-निर्देश प्रदान करती है।
GAIA के परीक्षण प्रश्न वास्तविक दुनिया के करीब हैं, और AI से तर्क, मल्टी-मोडल समझ (पाठ, चित्र, ऑडियो/वीडियो), वेब ब्राउज़िंग और उपकरणों का उपयोग जैसी क्षमताओं की अपेक्षा करते हैं। ये प्रश्न मनुष्यों के लिए समझने में कठिन नहीं हैं, लेकिन मॉडलों के लिए बेहद चुनौतीपूर्ण हैं। उदाहरण के लिए, GPT-4 की परीक्षण में सफलता दर केवल 15% थी, जबकि मानव प्रयोगकर्ताओं की सफलता दर 92% थी। इन प्रश्नों को पूरा करने के लिए आमतौर पर लंबी तार्किक श्रृंखला और समय की आवश्यकता होती है, जिसमें कई चरण और उपकरण शामिल होते हैं।
"Sibyl System" फ्रेमवर्क की डिजाइन विशेषताएँ इस प्रकार हैं:
मानव-जैसे ब्राउज़र इंटरफ़ेस ने खोज को बढ़ाने वाली जनरेशन को प्रतिस्थापित किया।
वार्तालाप के स्थान पर प्रश्न-उत्तर का उपयोग किया गया, जो बिना स्थिति के प्रश्न-उत्तर फ़ंक्शन का उपयोग करता है, जिससे सिस्टम आर्किटेक्चर को सरल बनाया जा सके।
केवल वेब ब्राउज़र और पायथन वातावरण जैसे दो सामान्य उपकरणों का उपयोग किया गया, विशेष उपकरणों पर निर्भरता को कम किया गया।
System1 से System2 में जाने के लिए "जूरी" तंत्र पेश किया गया, जो बहु-एजेंट बहस के माध्यम से आत्म-आलोचना और सुधार करता है, वैश्विक कार्यक्षेत्र में जानकारी का उपयोग करके उत्तर की सटीकता बढ़ाता है।
Sibyl System एक सरल संरचना लेकिन शक्तिशाली बड़े भाषा मॉडल पर आधारित एजेंट फ्रेमवर्क है, जो कम उपकरणों का उपयोग करके जटिल तर्क समस्याओं को हल कर सकता है। यह वैश्विक कार्यक्षेत्र और मल्टी-एजेंट तंत्र को पेश करके, और ब्राउज़र-आधारित सामान्य सूचना प्राप्ति चैनलों का उपयोग करके सिस्टम की जटिलता को कम करता है, जबकि समस्या हल करने की जटिलता को बढ़ाता है, जिससे मॉडल "तेज़ सोचने" से "धीमी सोचने" में परिवर्तन कर सकता है। Sibyl System में उत्कृष्ट स्केलेबिलिटी और डिबगिंग में आसानी भी है, जिससे अन्य मॉडलों के एजेंट मॉड्यूल को आसानी से बदला जा सकता है, और मॉडल की क्षमताओं को बढ़ाया जा सकता है।
तकनीकी रिपोर्ट:https://arxiv.org/pdf/2407.10718
