कछुआ बेंचमार्क

कछुआ बेंचमार्क 'कछुआ सूप' खेल पर आधारित एक नया, धोखाधड़ी-रोधी बेंचमार्क है जो बड़े भाषा मॉडलों (LLMs) की तार्किक क्षमता और संदर्भ समझ का मूल्यांकन करने पर केंद्रित है। यह पृष्ठभूमि के ज्ञान की आवश्यकता को समाप्त करके, निष्पक्ष और वस्तुनिष्ठ परीक्षण परिणाम प्रदान करता है, जिसके परिणाम मात्रात्मक होते हैं, और वास्तविक उपयोगकर्ता-जनित प्रश्नों का उपयोग करके, मॉडल को 'गेम' नहीं किया जा सकता है।