速報によると、15インチM3版MacBook Airが最近Geekbench 6ベンチマークサイトに登場し、その強力な性能を示しました。M3のシングルコアスコアは3157、マルチコアスコアは12020で、M2と比較してそれぞれ20％と18％向上しています。M3は8コアCPUと10コアGPUを搭載し、CPUクロック周波数は4.05GHzと、M2の3.48GHzを明らかに上回っています。Appleは様々なメモリとストレージのオプションを提供しており、最新のシステムがプリインストールされ、複数のカラーバリエーションも選択可能です。
最近、人工知能ベンチマークテストに関する議論が公の場で激化しています。OpenAIの社員がマスク創設のAI企業xAIが誤解を招くGrok3のベンチマークテスト結果を発表したと非難し、xAIの共同創設者イーゴール・バブシンキンは会社に問題はないと主張しています。この事態の発端は、xAIがブログにGrok3のAIME2025テストでのパフォーマンスを示すグラフを発表したことです。AIME2025は最近行われた数学招待大会の一環です。
OpenAIは先日、AIのプログラミング能力を評価する重要なレポートを発表しました。100万ドル相当の実開発プロジェクトを通じて、AIがソフトウェア開発分野でどのような現状にあるのかを明らかにしています。SWE-Lancerと呼ばれるこのベンチマークテストは、Upworkから集めた1400件の実プロジェクトを網羅し、AIの直接開発とプロジェクト管理の2つの分野におけるパフォーマンスを包括的に評価しました。テストの結果、最高性能を達成したAIモデルであるClaude3.5Sonnetは、コーディングタスクでの成功率が26.2％、プロジェクト管理決…
ソフトウェアエンジニアリングの分野では、課題が進化するにつれて、従来のベンチマーク手法では不十分になっています。フリーランスのソフトウェアエンジニアリング業務は複雑で多様であり、単なる孤立したコーディングタスクだけではありません。フリーランスのエンジニアは、コードベース全体を処理し、複数のシステムを統合し、複雑な顧客のニーズに応える必要があります。従来の評価方法は通常、単体テストに重点を置いており、フルスタックのパフォーマンスとソリューションの実際の経済的影響を十分に反映することはできません。そのため、より現実的な評価方法の開発が不可欠です。そこでOpenAIは、SWE-Lan…
AI数学ベンチマークを開発する非営利組織Epoch AIが、OpenAIからの資金提供を遅れて公開したことで物議を醸している。12月20日、Epoch AIは、AIの数学能力をテストするためのベンチマークであるFrontierMathプロジェクトにOpenAIが資金を提供したと発表。OpenAIはこのベンチマークを使用して、間もなく発売される主力AI製品o3の能力を披露した。Epoch AIの請負業者がLessWrongフォーラムで…
