AutoArena é uma plataforma automatizada de avaliação de IA generativa, focada na avaliação de modelos de linguagem grandes (LLMs), sistemas de geração aprimorada por recuperação (RAG) e aplicativos de IA generativa. Ela fornece avaliações confiáveis através de comparações automáticas diretas (head-to-head), ajudando os usuários a encontrar rapidamente, com precisão e economia a melhor versão de seus sistemas. A plataforma suporta o uso de modelos de julgamento de diferentes fornecedores, como OpenAI, Anthropic, etc., e também modelos de julgamento de código aberto executados localmente. AutoArena também oferece pontuação Elo e cálculo de intervalos de confiança, ajudando os usuários a converter múltiplas votações diretas em rankings. Além disso, AutoArena suporta o ajuste fino de modelos de julgamento personalizados para avaliações mais precisas e específicas do setor, e pode ser integrada a fluxos de integração contínua (CI) para automatizar a avaliação de sistemas de IA generativa.