हाल ही में, एप्पल के शोधकर्ताओं ने बड़े भाषा मॉडलों (LLM) की गणितीय तर्क क्षमता पर गहन अध्ययन किया और GSM-Symbolic नामक एक नया मानक परीक्षण पेश किया। यह नया मानक परीक्षण GSM8K के आधार पर विकसित किया गया है, जिसे मुख्य रूप से मौलिक गणितीय क्षमताओं का मूल्यांकन करने के लिए डिज़ाइन किया गया था। हालांकि कई LLM ने GSM8K पर बेहतर प्रदर्शन किया है, वैज्ञानिक समुदाय में इन मॉडलों की तर्क क्षमता के बारे में अभी भी संदेह है, और माना जाता है कि वर्तमान मूल्यांकन मानदंड उनके वास्तविक क्षमताओं को पूरी तरह से प्रतिबिंबित नहीं कर सकते।

हाल ही में, सेब कंपनी ने बड़े भाषा मॉडल (LLM) की तर्कशीलता पर एक अध्ययन किया, जिसने इन मॉडलों के गणितीय क्षेत्र में प्रदर्शन के बारे में लोगों का ध्यान आकर्षित किया। ज्ञात है कि GSM8K मानक परीक्षण प्राथमिक विद्यालय गणित प्रश्नों पर मॉडल के तर्कशीलता का मूल्यांकन करने के लिए व्यापक रूप से उपयोग किया जाता है। हालाँकि LLM ने GSM8K पर हाल के वर्षों में प्रदर्शन में सुधार किया है, लेकिन शोधकर्ताओं ने इस परिणाम की विश्वसनीयता पर सवाल उठाया। इसलिए, उन्होंने वर्तमान सशक्त ओपन-सोर्स और क्लोज्ड-सोर्स मॉडल के प्रदर्शन की जांच के लिए बड़े पैमाने पर अध्ययन किया। मॉडलों का बेहतर मूल्यांकन करने के लिए।

हाल ही में, मियरा अनुसंधान संस्थान, गूगल डेप्माइंड और माइक्रोसॉफ्ट रिसर्च के शोधकर्ताओं ने AI भाषा मॉडल की तर्क क्षमता का गहन अध्ययन किया, जिसमें पाया गया कि छोटे और सस्ते मॉडल जटिल समस्याओं को हल करने में महत्वपूर्ण कमी दिखाते हैं। यह अध्ययन ‘संयोगित GSM’ नामक एक परीक्षण है, जिसका उद्देश्य इन मॉडलों के श्रृंखलाबद्ध बुनियादी गणितीय समस्याओं को हल करने में उनके प्रदर्शन का मूल्यांकन करना है। चित्र स्रोत टिप्पणी: चित्र AI द्वारा उत्पन्न, चित्र प्राधिकरण सेवा प्रदाता Midjourney। शोधकर्ताओं ने GSM8K डेटासेट में से दो का संयोजन किया।