हाल ही में, मैसाचुसेट्स इंस्टीट्यूट ऑफ टेक्नोलॉजी की शोध टीम ने विभिन्न कार्यों में बड़े भाषा मॉडलों (LLMs) के प्रदर्शन का गहन विश्लेषण किया। अध्ययन में पाया गया कि LLMs परिचित कार्यों पर अच्छा प्रदर्शन करते हैं, लेकिन असामान्य या अज्ञात परिदृश्यों का सामना करने पर तर्क क्षमता में गंभीर सीमाएँ प्रदर्शित करते हैं। 'डिफ़ॉल्ट कार्य' और 'विरोधाभासी परिदृश्य' की तुलना करके, और मॉडल की प्रतिक्रिया परिणामों का परीक्षण करने के लिए कार्य डिज़ाइन को समायोजित करके, यह प्रदर्शित किया गया कि भले ही मॉडल दशमलव अंकगणित में उत्कृष्ट हो, लेकिन गैर-दशमलव वातावरण और संगीत, स्थानिक तर्क और शतरंज जैसे अन्य कार्यों में बिल्कुल भिन्न प्रदर्शन दर्शाते हैं।