アマゾンAWS、AIモデル評価改善のための人間によるベンチマークチームを発表

アマゾンは、ユーザーが人工知能モデルをより適切に評価し、より多くの人がこのプロセスに参加することを望んでいます。AWSは、リポジトリ内のモデルを評価するために、Bedrock上のモデル評価を導入しました。モデル評価には、自動評価と人的評価の2つの部分があり、さまざまな指標に基づいてモデルのパフォーマンスを評価できます。AWSはまた、人的評価チームをユーザーと協力して提供し、自動システムでは検出できない指標を検出します。

重要なのは、モデルが顧客にとって機能することであり、どのモデルが最適かを把握することです。私たちは、それをより適切に評価する方法を提供しています。