Arthurは、大規模言語モデルの性能を評価・比較するためのオープンソースツールArthurBenchを発表しました。ArthurBenchは、企業が特定のユースケースにおいて様々な言語モデルの性能をテストし、正確性、可読性、リスク回避などの指標を用いて比較することを支援します。既に金融サービス企業、自動車メーカー、メディアプラットフォームなどの企業がArthurBenchを使用し、分析の迅速化とより正確な回答の提供を実現しています。