हाल ही में, कैलिफोर्निया विश्वविद्यालय लॉस एंजेलेस और अमेज़न के शोधकर्ताओं ने बड़े भाषा मॉडल (LLMs) की तर्कशक्ति का गहराई से विश्लेषण किया। उन्होंने पहली बार प्रणालीबद्ध तरीके से इन्क्लूसिव और डेडक्टिव तर्क के बीच अंतर किया और दोनों के लिए AI सिस्टम की चुनौतियों की खोज की।

AI चेहरा बदलना चेहरे की पहचान (2)

चित्र स्रोत नोट: चित्र AI द्वारा उत्पन्न, चित्र लाइसेंस सेवा प्रदाता Midjourney

इन्क्लूसिव तर्क का मतलब है विशिष्ट अवलोकनों से सामान्य नियमों का निष्कर्ष निकालना, जबकि डेडक्टिव तर्क सामान्य नियमों को विशिष्ट मामलों पर लागू करना है। अध्ययन का उद्देश्य यह समझना था कि कौन सी तर्कशक्ति बड़े भाषा मॉडल के लिए अधिक चुनौतीपूर्ण है। इसके लिए, शोध टीम ने "SolverLearner" नामक एक नई विधि विकसित की। यह विधि मॉडल को कुछ उदाहरणों के माध्यम से एक फ़ंक्शन सीखने की अनुमति देती है, जो इनपुट को आउटपुट में मैप करता है। इसके बाद, बाहरी प्रोग्राम इस फ़ंक्शन का उपयोग करता है, जिससे डेडक्टिव तर्क के साथ भ्रमित होने से बचा जा सके।

शोध के परिणाम बताते हैं कि GPT-4 जैसे भाषा मॉडल इन्क्लूसिव तर्क में उत्कृष्ट प्रदर्शन करते हैं, "SolverLearner" विधि के उपयोग के साथ, सटीकता लगभग 100% तक पहुँच जाती है। हालांकि, डेडक्टिव तर्क, विशेष रूप से "विपरीत तथ्य" कार्यों में, मॉडलों के लिए चुनौतीपूर्ण साबित होते हैं। उदाहरण के लिए, मॉडल दशमलव अंकगणित कार्यों में अच्छा प्रदर्शन करते हैं, लेकिन अन्य संख्या प्रणालियों में गणना करते समय समस्याओं का सामना करते हैं। इसके अलावा, मॉडल कुछ असामान्य शब्द क्रम या स्थानिक अभिविन्यास में परिवर्तन वाले वाक्यों का विश्लेषण करते समय भी लचीले नहीं होते।

शोधकर्ताओं ने निष्कर्ष निकाला कि डेडक्टिव तर्क वर्तमान LLMs के लिए एक बड़ी चुनौती है। सीखे गए नियमों का सही ढंग से लागू होना अक्सर इस बात पर निर्भर करता है कि ये कार्य प्रशिक्षण प्रक्रिया के दौरान कितनी बार सामने आते हैं। हालांकि चेन थिंकिंग जैसी संकेत विधियों का उपयोग करके मॉडल की डेडक्टिव तर्क क्षमता को थोड़ा बढ़ाया जा सकता है, लेकिन परिणाम अभी भी संतोषजनक नहीं हैं। उल्लेखनीय है कि हाल ही में जारी OpenAI का नया मॉडल o1 इस परीक्षण में शामिल नहीं हुआ।

ओहायो स्टेट यूनिवर्सिटी और कार्नेगी मेलॉन यूनिवर्सिटी के शोधकर्ताओं द्वारा किए गए एक अन्य अध्ययन ने ट्रांसफार्मर मॉडल की तार्किक तर्क क्षमता की जांच की। उन्होंने अध्ययन किया कि क्या मॉडल "grokking" के माध्यम से अंतर्निहित निष्कर्ष निकालने की क्षमता प्राप्त कर सकते हैं, विशेष रूप से संयोजन और तुलना कार्यों में।

परिणाम बताते हैं कि ये मॉडल वास्तव में लंबे समय तक प्रशिक्षण के बाद अंतर्निहित निष्कर्ष निकालने की क्षमता प्राप्त कर सकते हैं, लेकिन केवल तुलना कार्यों में ही नए उदाहरणों पर सामान्यीकरण कर सकते हैं। शोधकर्ताओं ने इस अंतर को सीखे गए सर्किट की आंतरिक संरचना से संबंधित बताया और प्रारंभिक प्रयोगों में गुणवत्ता में सुधार की उम्मीद में ट्रांसफार्मर आर्किटेक्चर को समायोजित करने का सुझाव दिया।

मुख्य बिंदु:

🌟 LLMs इन्क्लूसिव तर्क में उत्कृष्ट प्रदर्शन करते हैं, सटीकता लगभग 100% है।  

🧩 डेडक्टिव तर्क अभी भी एक चुनौती है, विशेष रूप से विपरीत तथ्य कार्यों को संभालते समय।  

🔍 एक अन्य अध्ययन ने दिखाया कि ट्रांसफार्मर मॉडल संयोजन कार्यों में अंतर्निहित निष्कर्ष निकालने की क्षमता प्राप्त कर सकते हैं, लेकिन सामान्यीकरण की क्षमता सीमित है।