OpenAI ने SWE-bench Verified जारी किया, जिसका उद्देश्य सॉफ़्टवेयर इंजीनियरिंग कार्यों में AI के प्रदर्शन का अधिक सटीक मूल्यांकन करना है, प्राचीन SWE-bench में मूल्यांकन की सीमाओं जैसे अत्यधिक कठोर यूनिट परीक्षण, अस्पष्ट प्रश्न विवरण और विकास वातावरण के कठिन सेटअप की समस्याओं को हल करना है। नए बेंचमार्क ने कंटेनराइज्ड Docker वातावरण को पेश करने के द्वारा मूल्यांकन की निरंतरता और विश्वसनीयता को बढ़ाया है, जिससे AI मॉडल की प्रदर्शन रेटिंग में महत्वपूर्ण सुधार हुआ है। GPT-4o ने नए बेंचमार्क के तहत 33.2% नमूनों का समाधान किया, जबकि सबसे अच्छा ओपन-सोर्स एजेंट ढांचा A