AutoArenaは、大規模言語モデル（LLM）、検索拡張生成（RAG）システム、生成AIアプリケーションの評価に特化した自動化生成AI評価プラットフォームです。自動化されたヘッドツーヘッド比較により信頼性の高い評価を提供し、ユーザーは迅速、正確、かつ経済的にシステムの最適なバージョンを見つけることができます。本プラットフォームは、OpenAI、Anthropicなど、様々なベンダが提供する判定モデル、あるいはローカルで実行されるオープンソースの重み付け判定モデルの使用をサポートしています。AutoArenaは、Eloレーティングと信頼区間計算を提供し、複数回のヘッドツーヘッド投票をランキングに変換するお手伝いをします。さらに、AutoArenaは、より正確で特定の分野に特化した評価を実現するためのカスタム判定モデルの微調整をサポートしており、継続的インテグレーション（CI）プロセスに統合して、生成AIシステムの評価を自動化することも可能です。