AutoArena es una plataforma automatizada de evaluación de IA generativa, enfocada en la evaluación de modelos de lenguaje grandes (LLM), sistemas de generación mejorada por recuperación (RAG) y aplicaciones de IA generativa. Ofrece evaluaciones fiables mediante comparaciones automáticas directas, ayudando a los usuarios a encontrar rápidamente, con precisión y rentabilidad la mejor versión de sus sistemas. La plataforma admite modelos de juicio de diferentes proveedores, como OpenAI, Anthropic, etc., así como modelos de juicio de código abierto ejecutados localmente. AutoArena también proporciona cálculo de clasificación Elo e intervalos de confianza, ayudando a los usuarios a convertir múltiples votaciones directas en clasificaciones. Además, AutoArena permite el ajuste fino de modelos de juicio personalizados para lograr evaluaciones más precisas y específicas del dominio, y puede integrarse en flujos de integración continua (CI) para automatizar la evaluación de sistemas de IA generativa.