智源研究院は、オープンソースのAIハードウェア評価エンジンFlagPerf v1.0をリリースしました。
この評価エンジンの評価指標体系には、機能の正確性、性能、リソース使用率、エコシステムとの適合性などが含まれています。
FlagPerfは既に、自然言語処理、コンピュータビジョン、音声、マルチモーダルなどの分野における20以上の代表的なモデルを網羅しており、複数のAIソフト・ハードウェアメーカーと連携し、様々なチップやフレームワークとの適合性評価を実施しています。
FlagPerfは複数のトレーニングフレームワークと推論エンジンに対応しており、AIチップの性能と適用性を包括的に評価できます。
評価プロセスにおいては、FlagPerfは参加コードを厳格に審査し、結果の公平性とプロセスの公正性を確保しています。全てのテストコードはオープンソース化されており、テストプロセスとデータは再現可能です。