एंट ग्रुप ने पीकिंग यूनिवर्सिटी के साथ मिलकर DevOps क्षेत्र के लिए एक बड़े भाषा मॉडल मूल्यांकन मानक - DevOps-Eval जारी किया है। इस मूल्यांकन मानक में योजना, कोडिंग, निर्माण, परीक्षण, प्रकाशन, तैनाती, संचालन और निगरानी जैसे 8 श्रेणियों के बहुविकल्पीय प्रश्न शामिल हैं, कुल 4850 प्रश्न हैं। इसके अलावा, AIOps कार्यों के लिए भी विभाजन किया गया है और लॉग विश्लेषण, समय श्रृंखला असामान्यता पहचान, समय श्रृंखला वर्गीकरण और मूल कारण विश्लेषण जैसे कार्य जोड़े गए हैं। मूल्यांकन परिणामों से पता चलता है कि विभिन्न मॉडलों के स्कोर में ज्यादा अंतर नहीं है। एंट ग्रुप ने कहा है कि भविष्य में मानक को और अधिक अनुकूलित किया जाएगा, मूल्यांकन डेटासेट को समृद्ध किया जाएगा, AIOps क्षेत्र पर ध्यान केंद्रित किया जाएगा, और अधिक मूल्यांकन मॉडल जोड़े जाएंगे।