OpenAI 发布的最新模型 o3在 ARC-AGI 基准测试中取得了惊人的成绩,标准计算条件下得分高达75.7%,而高计算版本更是达到了87.5%。这一成就令 AI 研究界感到意外,但仍无法证明人工智能通用性(AGI)已被破解。ARC-AGI 基准测试基于抽象推理库(Abstract Reasoning Corpus),该测试旨在评估 AI 系统适应新任务和展示流动智力的能力。ARC 包含一系列视觉谜题,需要理解基本概念如物体、边界和空间关系。人类能够轻松解决这些谜题,而目前的 AI 系统在这方面却面临很大挑战。ARC 被认为是 AI 评估中最
在2024年12月19日的发布会上,智源研究院与腾讯宣布推出LongBench v2,这是一个专为评估大语言模型(LLMs)在真实世界长文本多任务中的深度理解与推理能力而设计的基准测试。该平台旨在推动长文本模型在理解和推理方面的进步,回应了当前长文本大语言模型在应用中的挑战。
近日,阿里巴巴 Qwen 团队的研究人员推出了一个名为 “PROCESSBENCH” 的新基准测试,旨在衡量语言模型在数学推理中识别过程错误的能力。随着语言模型在复杂推理任务中取得显著进展,这一领域的研究者们发现,尽管模型表现出色,但在处理某些困难问题时依然面临挑战。因此,开发一种有效的监督方法显得尤为重要。当前,针对语言模型的评估基准存在一些不足之处。一方面,一些问题集对于高级模型而言变得过于简单,另一方面,现有的评估方法往往只提供二元的正确性评估,而缺
12月5日,字节豆包大模型团队推出了最新的代码大模型评估基准——FullStack Bench,涵盖了超11类真实场景,支持16种编程语言,并包含3374个问题。这一基准相比之前的评估标准,在更广泛的编程领域中能更准确地评估大模型的代码开发能力,推动了模型在现实世界编程任务中的优化。目前的主流代码评估基准,如HumanEval和MBPP,通常集中在基础和高级编程问题,而DS-1000则专注于数据分析和机器学习任务,且仅支持Python。xCodeEval则侧重于高级编程和数学领域,存在较大的应用场景和语言覆盖限