FlagEval est une plateforme d'évaluation de modèles axée sur l'évaluation des modèles de langage volumineux et des modèles multimodaux. Elle offre un environnement équitable et transparent permettant de comparer différents modèles selon les mêmes critères. Elle aide les chercheurs et les développeurs à comprendre les performances des modèles et à stimuler le développement de l'intelligence artificielle. La plateforme couvre plusieurs types de modèles, tels que les modèles conversationnels et les modèles vision-langage. Elle prend en charge l'évaluation des modèles open source et propriétaires, et propose des évaluations spécialisées, comme des tests scolaires (K12) et des évaluations de trading quantitatif financier.