在2024年12月19日的发布会上，智源研究院与腾讯宣布推出LongBench v2，这是一个专为评估大语言模型（LLMs）在真实世界长文本多任务中的深度理解与推理能力而设计的基准测试。该平台旨在推动长文本模型在理解和推理方面的进步，回应了当前长文本大语言模型在应用中的挑战。

近日，阿里巴巴 Qwen 团队的研究人员推出了一个名为 “PROCESSBENCH” 的新基准测试，旨在衡量语言模型在数学推理中识别过程错误的能力。随着语言模型在复杂推理任务中取得显著进展，这一领域的研究者们发现，尽管模型表现出色，但在处理某些困难问题时依然面临挑战。因此，开发一种有效的监督方法显得尤为重要。当前，针对语言模型的评估基准存在一些不足之处。一方面，一些问题集对于高级模型而言变得过于简单，另一方面，现有的评估方法往往只提供二元的正确性评估，而缺

强化学习在近年来取得了许多成功，但其样本效率低下，限制了其在现实世界中的应用。世界模型作为一种环境生成模型，为解决这一问题提供了希望。它可以作为模拟环境，以更高的样本效率训练强化学习智能体。目前，大多数世界模型通过离散潜变量序列来模拟环境动态。然而，这种压缩成紧凑离散表示的方法可能会忽略对强化学习至关重要的视觉细节。与此同时，扩散模型已经成为图像生成领域的主导方法，挑战了传统的离散潜变量建模方法。受此启发，研究人员提出了一种名为DI

近日，图像 AI 初创公司 Recraft 发布了其最新的文本生成图像模型 Recraft v3，该模型在独立测试中表现出色，重新定义了图像生成的性能标准。根据 Recraft 的介绍，v3模型在生成图像中的文本、保持解剖学准确性、理解提示和制作高质量视觉内容方面都表现优异。其最大的突破在于能够在一次生成中准确呈现长段文本，而许多其他模型在处理超过几个字时常常力不从心。Recraft v3在 Hugging Face 的文本生成图像基准测试中名列第一，获得1172的 ELO 分数，超越了近期的竞争对手 Flux 和 Ideogram。用户

瑞士洛桑联邦理工学院 （EPFL） 的一项最新研究比较了两种主流的大型语言模型 (LLM) 适应性训练方法:上下文学习 (ICL) 和指令微调 (IFT)。研究人员使用 MT-Bench 基准测试来评估模型遵循指令的能力，发现在特定情况下，两种方法的表现各有优劣。研究发现，当可用的训练样本数量较少时（例如不超过50个），ICL 和 IFT 的效果非常接近。这表明在数据有限的情况下，ICL 或许可以作为 IFT 的替代方案。然而，随着任务复杂度的增加，例如在多轮对话场景中，IFT 的优势就变得明显。研究人员认为，

最近，微软发布了一个名为 Windows Agent Arena（WAA）的新平台，专门用于测试人工智能助手在真实 Windows 操作系统环境中的表现。这个创新的基准测试工具旨在加速 AI 助手的发展，使其能够在各种应用中执行复杂的计算任务，提升人机互动的效率。研究团队在 arXiv.org 上发布了一篇论文，指出大语言模型在作为计算机助手方面展现出巨大潜力，能在需要规划和推理的多模态任务中提升人类的工作效率和软件可访问性。然而，如何在真实环境中衡量 AI 助手的表现，依然是一个难题。Windows Agent

现代关系数据库中，基数估计（CE）技术对于优化查询执行计划至关重要，直接影响到查询效率和数据库性能。传统的基数估计方法基于简化假设，常在复杂查询预测上表现不佳，而学习型CE模型能提供更准确预测，但面临训练时间长、需大量数据和缺乏系统评估的问题。为解决这一挑战，Google研究团队推出了CardBench基准测试框架，集成了超过20个真实世界数据库和数千个查询，支持三种主要设置：基于实例的模型、零样本模型和微调模型。CardBench不仅提供数据统计计算工具、SQL查询生成和注释查询图创建功能，还包含训练数据集，用于评估不同学习型CE模型性能。通过CardBench，微调模型在性能评估中展现出色，即使在少量训练数据下也能达到与传统方法相当的准确性，这为实际应用提供了可能，推动了学习型基数估计领域的进步。

Geekbench AI 是一款新发布的跨平台工具，专为评估 AI 密集型工作负载设计。它通过测量设备的 CPU、GPU 和 NPU，以及支持多种机器学习框架，来判断设备处理 AI 应用程序的能力。Geekbench AI 提供全精度、半精度和量化分数，并伴随准确性评估，帮助用户了解模型执行任务的真实程度。用户可在 Windows、macOS、Linux、Android 和 iOS 平台上下载并测试设备的 AI 处理性能。随着 AI 技术的发展，这款工具为评估设备在 AI 任务上的表现提供了重要依据。

Geekbench AI是一款全新跨平台工具，用于评估设备处理密集型工作负载的性能，特别关注机器学习任务。它通过测量CPU、GPU和NPU性能，提供全精度、半精度和量化评分，并纳入准确度评估。支持多种机器学习框架，包括ONNX、CoreML、TensorFlow Lite和OpenVINO。此工具在Windows、macOS、Linux、Android和iOS上均可使用，旨在全面评估设备在不同任务中的表现。

长语境理解是自然语言处理领域的关键挑战，尤其是在大型语言模型（LLMs）处理超出其上下文窗口大小的文本时。为解决这一问题，研究人员开发了LooGLE基准测试，旨在评估LLMs在处理超长文档（平均19.3k单词，共776篇，覆盖多领域）时的长语境理解能力。LooGLE包含7个任务，涵盖短依赖和长依赖，评估模型对不同长度文本的理解。测试数据来源于2022年后的开源文档，确保LLMs未在预训练中接触，以此更准确评估其语境学习能力。研究发现，商业模型在性能上领先于开源模型，LLMs在短依赖任务上表现良好，但在长依赖任务上存在挑战。基于检索的技术在短问题回答中表现突出，而扩展上下文窗口的策略对长语境理解的提升有限。LooGLE提供了评估LLMs长语境理解能力的系统方案，并在GitHub上公开了评估代码，为未来模型开发提供指导。

Anthropic 推出了一个计划，资助开发新类型的基准测试，以评估 AI 模型的性能和影响，包括像其自己的 Claude 这样的生成模型。

近日，智谱、清华大学和北京大学合作推出了一个名为LVBench的长视频理解基准测试项目。现有的多模态大型语言模型虽然在短视频理解方面取得了长足进步，但在处理长达数小时的长视频时仍面临挑战。为弥补这一空白，LVBench应运而生。

["谷歌推出新人工智能系统Gemini,该系统表现卓越,在多个基准测试中优于现有模型。","Gemini系统由谷歌DeepMind开发,支持文本、图像、音频、视频和代码等多种模式。","Gemini系统有3个版本,针对不同的使用场景进行了优化。","相比竞争对手,Gemini系统在缩小性能差距方面取得进展。","Gemini系统的多功能特性为其在云服务等领域带来商业化潜力。"]

["亚马逊AWS推出人类基准测试团队，改进人工智能模型评估","亚马逊希望用户能够更好地评估人工智能模型，并鼓励更多人参与这一过程","AWS提供Bedrock上的模型评估，以评估其存储库中的模型","模型评估包括自动评估和人工评估两个部分，可以根据不同指标评估模型性能","AWS还提供人工评估团队与用户合作，检测到自动系统无法检测到的指标"]

["首个 AI agent 系统性基准测试问世，对 25 个不同语言模型的全面评估结果显示：GPT-4 独具一档。","顶级商业语言模型在复杂环境中表现出色，与开源模型存在显著优势。","研究团队建议进一步提高开源模型的学习能力。"]