हाल ही में, OpenAI ने एक नया बेंचमार्क परीक्षण SimpleQA जारी किया है, जिसका उद्देश्य भाषा मॉडल द्वारा उत्पन्न उत्तरों की तथ्यात्मक सटीकता का मूल्यांकन करना है। बड़े भाषा मॉडल के तेजी से विकास के साथ, उत्पन्न सामग्री की सटीकता सुनिश्चित करना कई चुनौतियों का सामना कर रहा है, विशेष रूप से तथाकथित 'मायावी' घटनाएँ, जहाँ मॉडल ने आत्मविश्वास से भरे उत्तर दिए हैं लेकिन वास्तव में वे गलत या सत्यापन योग्य नहीं हैं। जब लोग AI पर जानकारी प्राप्त करने के लिए अधिक निर्भर हो रहे हैं, तब यह स्थिति और भी महत्वपूर्ण हो जाती है। SimpleQA की डिज़ाइन विशेषताएँ यह है कि यह

हाल ही में, OpenAI द्वारा किए गए एक अध्ययन ने दिखाया कि, हालाँकि कृत्रिम बुद्धिमता तकनीक तेजी से विकसित हो रही है, वर्तमान में सबसे उन्नत भाषा मॉडल तथ्यात्मक प्रश्नों के उत्तर देने में अपेक्षा से काफी कम सफल हैं। इस अध्ययन में OpenAI की अपनी SimpleQA मानक परीक्षण का उपयोग किया गया, जिसमें 4,326 प्रश्न शामिल हैं, जो विज्ञान, राजनीति और कला जैसे कई क्षेत्रों को कवर करते हैं, प्रत्येक प्रश्न का एक स्पष्ट सही उत्तर है। दो स्वतंत्र मूल्यांकनकर्ताओं के सत्यापन के बाद, परिणाम यह दर्शाता है कि OpenAI का सर्वश्रेष्ठ मॉडल o1-prev