O Instituto de Inteligência Artificial de Pequim (BAAI) lançou o FlagPerf v1.0, um motor de avaliação de hardware de IA de código aberto e acessível ao público. Este motor de avaliação inclui métricas abrangentes que avaliam a correção funcional, o desempenho, o uso de recursos e a compatibilidade do ecossistema.
O FlagPerf já abrange mais de 20 modelos clássicos em áreas como processamento de linguagem natural, visão computacional, processamento de voz e multimídia. Colaboramos profundamente com várias empresas de hardware e software de IA para garantir a compatibilidade e avaliação com diferentes chips e frameworks.
O FlagPerf suporta diversos frameworks de treinamento e motores de inferência, permitindo uma avaliação completa do desempenho e da adequação dos chips de IA. Durante o processo de avaliação, o FlagPerf revisa rigorosamente o código submetido para garantir resultados justos e um processo imparcial. Todo o código de teste é de código aberto, garantindo a reprodutibilidade dos testes e dos dados.