AutoArena ist eine automatisierte Plattform zur Bewertung generativer KI. Sie konzentriert sich auf die Bewertung großer Sprachmodelle (LLMs), Retrieval Augmented Generation (RAG)-Systeme und generativer KI-Anwendungen. Durch automatisierte Head-to-Head-Vergleiche bietet sie zuverlässige Bewertungen und hilft Nutzern, schnell, präzise und kostengünstig die beste Systemversion zu finden. Die Plattform unterstützt Bewertungsmodelle verschiedener Anbieter wie OpenAI und Anthropic sowie lokal laufende Open-Source-Modelle. AutoArena bietet Elo-Ratings und Konfidenzintervallberechnungen, um Mehrfachvergleiche in Ranglisten umzuwandeln. Darüber hinaus ermöglicht AutoArena die Feinabstimmung benutzerdefinierter Bewertungsmodelle für genauere, domänenspezifische Bewertungen und kann in Continuous-Integration (CI)-Prozesse integriert werden, um die Bewertung generativer KI-Systeme zu automatisieren.