L'Institut de recherche sur l'intelligence artificielle (AIRS) a publié FlagPerf v1.0, un moteur d'évaluation de matériel AI open source. Ce moteur d'évaluation utilise un système d'indicateurs comprenant la correction fonctionnelle, les performances, l'utilisation des ressources et l'adaptation de l'écosystème.
FlagPerf couvre déjà plus de 20 modèles classiques dans des domaines tels que le traitement du langage naturel, la vision par ordinateur, la voix et les modalités multiples. Il a également établi des collaborations approfondies avec plusieurs fabricants de logiciels et de matériels AI, permettant l'adaptation et l'évaluation avec différents chipsets et frameworks.
FlagPerf prend en charge plusieurs frameworks d'entraînement et moteurs d'inférence pour une évaluation complète des performances et de l'applicabilité des chipsets AI. Durant le processus d'évaluation, FlagPerf soumet le code participant à un examen rigoureux afin de garantir l'équité des résultats et l'impartialité du processus. Tout le code de test est open source, et le processus de test et les données sont reproductibles.