El Instituto de Inteligencia Artificial de Beijing (BAAI) ha lanzado FlagPerf v1.0, un motor de evaluación de hardware de IA de código abierto. El sistema de métricas de evaluación del motor incluye la corrección funcional, el rendimiento, el uso de recursos y la adaptación al ecosistema.
FlagPerf ya abarca más de 20 modelos clásicos en áreas como el procesamiento del lenguaje natural, la visión por computadora, el procesamiento de voz y la multimodalidad. Además, ha colaborado estrechamente con varias empresas de hardware y software de IA para lograr la adaptación y evaluación con diferentes chips y frameworks.
FlagPerf admite varios frameworks de entrenamiento y motores de inferencia para evaluar exhaustivamente el rendimiento y la aplicabilidad de los chips de IA. Durante el proceso de evaluación, FlagPerf revisa estrictamente el código de los participantes para garantizar resultados justos e imparciales. Todo el código de prueba es de código abierto, y el proceso de prueba y los datos son reproducibles.