FlagPerf v1.0 オープンソースリリース

智源研究院は、オープンソースのAIハードウェア評価エンジンFlagPerf v1.0をリリースしました。

この評価エンジンの評価指標体系には、機能の正確性、性能、リソース使用率、エコシステムとの適合性などが含まれています。

FlagPerfは既に、自然言語処理、コンピュータビジョン、音声、マルチモーダルなどの分野における20以上の代表的なモデルを網羅しており、複数のAIソフト・ハードウェアメーカーと連携し、様々なチップやフレームワークとの適合性評価を実施しています。

FlagPerfは複数のトレーニングフレームワークと推論エンジンに対応しており、AIチップの性能と適用性を包括的に評価できます。

評価プロセスにおいては、FlagPerfは参加コードを厳格に審査し、結果の公平性とプロセスの公正性を確保しています。全てのテストコードはオープンソース化されており、テストプロセスとデータは再現可能です。