ऑटोएरेना एक स्वचालित जनरेटिव AI मूल्यांकन प्लेटफ़ॉर्म है जो बड़े भाषा मॉडल (LLMs), पुनर्प्राप्ति-वर्धित जेनरेशन (RAG) सिस्टम और जनरेटिव AI अनुप्रयोगों के मूल्यांकन पर केंद्रित है। यह विश्वसनीय मूल्यांकन प्रदान करने के लिए स्वचालित आमने-सामने तुलना का उपयोग करता है, जिससे उपयोगकर्ताओं को सिस्टम का सर्वोत्तम संस्करण तेज़ी से, सटीक रूप से और किफ़ायती ढंग से खोजने में मदद मिलती है। यह प्लेटफ़ॉर्म OpenAI, Anthropic आदि जैसे विभिन्न विक्रेताओं से निर्णय मॉडल के उपयोग का समर्थन करता है, साथ ही स्थानीय रूप से चलने वाले ओपन-सोर्स वेट निर्णय मॉडल का भी उपयोग कर सकता है। ऑटोएरेना Elo स्कोर और विश्वास अंतराल की गणना भी प्रदान करता है, जिससे उपयोगकर्ताओं को कई आमने-सामने वोटों को रैंकिंग में बदलने में मदद मिलती है। इसके अलावा, ऑटोएरेना अधिक सटीक और विशिष्ट क्षेत्र-आधारित मूल्यांकन के लिए कस्टम निर्णय मॉडल के ट्यूनिंग का समर्थन करता है, और इसे जनरेटिव AI सिस्टम के स्वचालित मूल्यांकन के लिए सतत एकीकरण (CI) प्रक्रियाओं में एकीकृत किया जा सकता है।