न्यूयॉर्क की आर्टिफिशियल इंटेलिजेंस स्टार्टअप आर्थर ने आर्थरबेंच नामक एक ओपन-सोर्स उपकरण जारी किया है, जिसका उपयोग बड़े भाषा मॉडल के प्रदर्शन का मूल्यांकन और तुलना करने के लिए किया जाता है। आर्थरबेंच व्यवसायों को विशेष उपयोग मामलों पर विभिन्न भाषा मॉडलों के प्रदर्शन का परीक्षण करने में मदद कर सकता है और तुलना के लिए सटीकता, पठनीयता, और जोखिम से बचाव जैसे मापदंड प्रदान करता है। वित्तीय सेवाओं की कंपनियों, वाहन निर्माताओं और मीडिया प्लेटफार्मों जैसी कई कंपनियों ने आर्थरबेंच का उपयोग करना शुरू कर दिया है, जिससे विश्लेषण को तेज किया जा रहा है और अधिक सटीक उत्तर प्रदान किए जा रहे हैं।
AI स्टार्टअप Arthur ने ओपन-सोर्स AI मॉडल मूल्यांकन उपकरण Bench की घोषणा की
