グローバルAI製品の動向を検索

人工知能技術の急速な発展に伴い、様々な生成系AIモデルの実力を効果的に評価・比較する方法が重要な課題となっています。従来のAIベンチマークテスト手法は限界を露呈しつつあり、より革新的な評価方法を模索する動きが活発化しています。この度、Minecraft Benchmark（略称：MC-Bench）というウェブサイトが登場しました。その最大の特徴は、マイクロソフト製のサンドボックス型建築ゲーム『マインクラフト』(Minecraft)を利用している点です。

12年生の生徒が、異なるAIモデルのマインクラフトにおけるパフォーマンスを評価できる革新的なプラットフォームを構築し、人工知能評価分野に新たな視点をもたらしました。従来の評価方法の限界に対処する新たなベンチマークテスト。従来のAIベンチマークテスト方法の限界がますます明らかになるにつれ、開発者たちはより創造的な評価方法を探求し始めています。ある開発者グループにとって、Microsoftのサンドボックス構築ゲームであるMinecraftは理想的な選択肢となりました。高校生であるAdi Singhと彼のチームはMi…

Anthropicは、自社のClaudeなどの生成モデルを含むAIモデルの性能と影響を評価するための、新しいタイプのベンチマーク開発を支援する取り組みを発表しました。

Patronus AIが著作権検出ツールを発表、OpenAIのGPT-4が最も深刻な著作権侵害問題を抱えていると指摘。マイクロソフトエンジニアはAI画像生成ツールの社会への危険性を指摘。

アマゾンAWSは、AIモデルの評価を改善し、より多くの人がこのプロセスに参加することを促進するために、人間によるベンチマークチームを発表しました。AWSは、Bedrock上のモデル評価を提供し、リポジトリ内のモデルを評価します。モデル評価には、自動評価と人的評価の2つの部分があり、さまざまな指標に基づいてモデルの性能を評価できます。AWSはまた、自動システムでは検出できない指標を検出するために、人的評価チームとユーザーが協力できる体制を整えています。

Arthurは、大規模言語モデルの性能を評価・比較するためのオープンソースツールArthurBenchを発表しました。ArthurBenchは、企業が特定のユースケースにおいて様々な言語モデルの性能をテストし、正確性、可読性、リスク回避などの指標を用いて比較することを支援します。既に金融サービス企業、自動車メーカー、メディアプラットフォームなどの企業がArthurBenchを使用し、分析の迅速化とより正確な回答の提供を実現しています。