先日、『マインクラフト』上でAI能力評価のユニークなイベントが開催され、大きな注目を集めました。新旧2バージョンのClaude3.5Sonnetが建築対決を行い、明確な能力差が示されました。特に新バージョン（仮称Sonnet3.6）の性能は目覚ましく、開発者adi氏によるこのテストは「唯一信頼できる評価基準」と評されています。評価基準研究者のAidan McLau氏は、この方法が現在のAI評価ニーズに合致すると指摘し、さらに審美眼についても言及しています。

Google DeepMindが新たに発表したGemini実験版（Exp1114）が、Chatbot Arenaプラットフォームで注目すべき成果を収めました。1週間以上のコミュニティテストを経て、6000票を超えるデータが集計され、この新しいモデルが競合製品を圧倒的に凌駕し、複数の主要分野で驚異的な能力を示していることが明らかになりました。総合評価では、Gemini-Exp-1114はGPT-4-latestと並んで40点以上の高得点を獲得し、以前はトップだったGPTを上回りました。

北京智源人工知能研究院（BAAI）は最近、世界初の中国語大規模言語モデル論争プラットフォームFlagEval Debateを発表しました。この新しいプラットフォームは、モデル間の論争という競争メカニズムを通じて、大規模言語モデルの能力評価のための新しい測定方法を提供することを目的としています。これは、智源モデル対戦評価サービスFlagEval大規模言語モデル競技場の拡張であり、大規模言語モデル間の能力の違いを識別することを目標としています。

Geekbench AIは、デバイスのAI集約型ワークロードにおけるパフォーマンスを評価することを目的とした、新しいクロスプラットフォームツールです。CPU、GPU、NPUをテストすることにより、デバイスが機械学習アプリケーションを処理する能力を判断します。ONNX、CoreML、TensorFlow Lite、OpenVINOなど、複数のAIフレームワークをサポートしており、速度と精度の2つの次元からパフォーマンスを評価し、全精度、半精度、量子化精度の3つのスコアを提供します。さらに、Geekbench AIのテスト結果は...

OpenAIは、AIによるソフトウェアエンジニアリングタスクのパフォーマンスをより正確に評価することを目的としたSWE-bench Verifiedを発表しました。これは、元のSWE-benchにおける、厳しすぎる単体テスト、不明確な問題記述、設定が難しい開発環境といった評価上の限界に対処するためのものです。新しいベンチマークでは、Dockerコンテナ環境を導入することで、評価の一貫性と信頼性を向上させ、AIモデルの性能評価を大幅に向上させています。GPT-4oは新しいベンチマークで33.2％のサンプルを解決しましたが、最良のオープンソースエージェントフレームワークA…