OpenAIのGPT-4が従来の数学評価で何度も好成績を収める中、北京大学とアリババの研究チームは、大規模言語モデルの国際数学オリンピックレベルの推論能力を評価することを目的とした、新しい評価基準Omni-MATHを共同で発表しました。この取り組みは、AIの数学能力の評価に新たな基準を提供するだけでなく、AIが高度な数学分野で潜在能力を探求するための新たな道を切り開きます。Omni-MATHの独特な設計により、Omni-MATH評価ライブラリには、4428問のコンテストレベルの数学問題が含まれています。

先日終了した国際数学オリンピックで、Google DeepMindのAIシステムAlphaProofとAlphaGeometry2が驚異的な解法能力を披露しました。僅差で優勝を逃しましたが、速度と正確性において人間の選手を凌駕しました。AIシステムは4問で満点を取り、1問では19秒という驚異的な速度で解法を導き出しました。その解法過程は数学コンテストの基準に合致し、厳密で明瞭です。今回のコンテストは、AIの数学分野における潜在能力の高さを示しただけでなく、複雑な問題を迅速に解決できることも示しました。