Anthropicは、自社のClaudeなどの生成モデルを含むAIモデルの性能と影響を評価するための新しいタイプのベンチマーク開発を支援する計画を発表しました。
月曜日に発表されたこの計画では、同社がブログ記事で述べているように、「AIモデルの高度な能力を効果的に測定できる」第三者組織に資金を提供します。関心のある組織は随時応募できます。
「これらの評価への投資は、AIセキュリティ分野全体の向上を目指し、エコシステム全体に利益をもたらす貴重なツールを提供することを目的としています」とAnthropicは公式ブログで述べています。「安全関連の高品質な評価の開発は依然として困難であり、需要は供給を上回っています。」
これまでにも強調してきたように、AIにはベンチマークの問題があります。現在、AIで最も頻繁に引用されるベンチマークは、一般の人が実際にテスト対象システムを使用する方法をうまく捉えられないことがよくあります。さらに、特に現代の生成AIが登場する前に公開された一部のベンチマークは、時代遅れであるため、測定しようとしている内容を測定できていない可能性すらあります。
Anthropicが提案する非常に高レベルで、やや困難に聞こえる解決策は、新しいツール、インフラストラクチャ、方法を通じて、AIの安全性と社会への影響に重点を置いた、挑戦的なベンチマークを作成することです。
同社は特に、サイバー攻撃の実行、「強化」された大量破壊兵器（核兵器など）、および人々の操作や欺瞞（ディープフェイクや偽情報など）といったタスクの実行能力を評価するテストを呼びかけています。国家安全保障と防衛に関するAIのリスクについては、Anthropicは、リスクを特定および評価するための「早期警戒システム」の開発に尽力していると述べていますが、ブログ記事ではそのシステムの内容については明らかにされていません。
Anthropicはまた、科学研究、多言語コミュニケーション、根深い偏見の軽減、自己検閲による毒性の削減におけるAIの可能性を探る、ベンチマークと「エンドツーエンド」タスクの研究を、この新しい計画で支援する意向であると述べています。
この目標を達成するために、Anthropicは、専門家が独自の評価を開発し、「数千」人のユーザーによる大規模なモデル実験を行うことを可能にする新しいプラットフォームを構想しています。同社は、この計画のために専任のコーディネーターを雇用しており、可能性のあるプロジェクトを購入または拡大する可能性があると述べています。
Anthropicによる新しいAIベンチマークの取り組みは称賛に値します。もちろん、十分な資金と人材による支援が前提となります。しかし、AI競争における同社の商業的な野心を考えると、完全に信頼するのは難しいかもしれません。
Anthropicはまた、この計画が「進歩を促進し、包括的なAI評価が業界標準となる未来を実現するための触媒となる」ことを期待していると述べています。これは、多くのオープンで、企業に属さない取り組みが共有できる使命です。しかし、これらの取り組みが、最終的に株主に忠誠を負うAIベンダーと協力する意思があるかどうかは、まだ分かりません。
要点：
- 📌Anthropicが、AIモデルの性能と影響を評価するための新しいタイプのベンチマークを支援する計画を発表。
- 📌AIの安全性と社会への影響に重点を置いた、挑戦的なベンチマークの作成を目指す。
- 📌Anthropicは、この計画が「進歩を促進し、包括的なAI評価が業界標準となる未来を実現するための触媒となる」ことを期待。
