Prometheus-Eval est un ensemble d'outils open source conçu pour évaluer les performances des grands modèles linguistiques (LLM) dans les tâches de génération. Il offre une interface simple utilisant le modèle Prometheus pour évaluer les instructions et les réponses correspondantes. Le modèle Prometheus 2 supporte l'évaluation directe (notation absolue) et le classement par paires (notation relative), permettant de simuler le jugement humain et les évaluations propriétaires basées sur les modèles linguistiques. Il résout ainsi les problèmes d'équité, de contrôlabilité et de coût.