OpenAI ने SWE-bench Verified जारी किया, जिसका उद्देश्य सॉफ़्टवेयर इंजीनियरिंग कार्यों में AI के प्रदर्शन का अधिक सटीक मूल्यांकन करना है, प्राचीन SWE-bench में मूल्यांकन की सीमाओं जैसे अत्यधिक कठोर यूनिट परीक्षण, अस्पष्ट प्रश्न विवरण और विकास वातावरण के कठिन सेटअप की समस्याओं को हल करना है। नए बेंचमार्क ने कंटेनराइज्ड Docker वातावरण को पेश करने के द्वारा मूल्यांकन की निरंतरता और विश्वसनीयता को बढ़ाया है, जिससे AI मॉडल की प्रदर्शन रेटिंग में महत्वपूर्ण सुधार हुआ है। GPT-4o ने नए बेंचमार्क के तहत 33.2% नमूनों का समाधान किया, जबकि सबसे अच्छा ओपन-सोर्स एजेंट ढांचा A

AI स्टार्टअप Cognition ने AI प्रोग्रामर 'Genie' लॉन्च किया, जिसने प्रतिष्ठित परीक्षण प्लेटफ़ॉर्म SWE-Bench पर 30.08% स्कोर किया, जो Devin और GPT-4 से कहीं अधिक है, और यह दुनिया का सबसे शक्तिशाली AI प्रोग्रामिंग सहायक बन गया। Genie के सह-संस्थापक Alistair Pullen ने 2022 में इस परियोजना का प्रदर्शन किया, जिसका उद्देश्य ऐसी AI बनाना है जो मानवों की तरह स्वचालित रूप से कोडिंग, डिबगिंग और ऑप्टिमाइजेशन कर सके। डेवलपमेंट के एक साल बाद, Genie एक विशेष डेटा का उपयोग करता है जिसमें मानव प्रोग्रामरों की तर्क करने की प्रक्रिया शामिल है।