最近，微软发布了一个名为 Windows Agent Arena（WAA）的新平台，专门用于测试人工智能助手在真实 Windows 操作系统环境中的表现。这个创新的基准测试工具旨在加速 AI 助手的发展，使其能够在各种应用中执行复杂的计算任务，提升人机互动的效率。研究团队在 arXiv.org 上发布了一篇论文，指出大语言模型在作为计算机助手方面展现出巨大潜力，能在需要规划和推理的多模态任务中提升人类的工作效率和软件可访问性。然而，如何在真实环境中衡量 AI 助手的表现，依然是一个难题。Windows Agent

现代关系数据库中，基数估计（CE）技术对于优化查询执行计划至关重要，直接影响到查询效率和数据库性能。传统的基数估计方法基于简化假设，常在复杂查询预测上表现不佳，而学习型CE模型能提供更准确预测，但面临训练时间长、需大量数据和缺乏系统评估的问题。为解决这一挑战，Google研究团队推出了CardBench基准测试框架，集成了超过20个真实世界数据库和数千个查询，支持三种主要设置：基于实例的模型、零样本模型和微调模型。CardBench不仅提供数据统计计算工具、SQL查询生成和注释查询图创建功能，还包含训练数据集，用于评估不同学习型CE模型性能。通过CardBench，微调模型在性能评估中展现出色，即使在少量训练数据下也能达到与传统方法相当的准确性，这为实际应用提供了可能，推动了学习型基数估计领域的进步。

Geekbench AI 是一款新发布的跨平台工具，专为评估 AI 密集型工作负载设计。它通过测量设备的 CPU、GPU 和 NPU，以及支持多种机器学习框架，来判断设备处理 AI 应用程序的能力。Geekbench AI 提供全精度、半精度和量化分数，并伴随准确性评估，帮助用户了解模型执行任务的真实程度。用户可在 Windows、macOS、Linux、Android 和 iOS 平台上下载并测试设备的 AI 处理性能。随着 AI 技术的发展，这款工具为评估设备在 AI 任务上的表现提供了重要依据。

Geekbench AI是一款全新跨平台工具，用于评估设备处理密集型工作负载的性能，特别关注机器学习任务。它通过测量CPU、GPU和NPU性能，提供全精度、半精度和量化评分，并纳入准确度评估。支持多种机器学习框架，包括ONNX、CoreML、TensorFlow Lite和OpenVINO。此工具在Windows、macOS、Linux、Android和iOS上均可使用，旨在全面评估设备在不同任务中的表现。

长语境理解是自然语言处理领域的关键挑战，尤其是在大型语言模型（LLMs）处理超出其上下文窗口大小的文本时。为解决这一问题，研究人员开发了LooGLE基准测试，旨在评估LLMs在处理超长文档（平均19.3k单词，共776篇，覆盖多领域）时的长语境理解能力。LooGLE包含7个任务，涵盖短依赖和长依赖，评估模型对不同长度文本的理解。测试数据来源于2022年后的开源文档，确保LLMs未在预训练中接触，以此更准确评估其语境学习能力。研究发现，商业模型在性能上领先于开源模型，LLMs在短依赖任务上表现良好，但在长依赖任务上存在挑战。基于检索的技术在短问题回答中表现突出，而扩展上下文窗口的策略对长语境理解的提升有限。LooGLE提供了评估LLMs长语境理解能力的系统方案，并在GitHub上公开了评估代码，为未来模型开发提供指导。

Anthropic 推出了一个计划，资助开发新类型的基准测试，以评估 AI 模型的性能和影响，包括像其自己的 Claude 这样的生成模型。

近日，智谱、清华大学和北京大学合作推出了一个名为LVBench的长视频理解基准测试项目。现有的多模态大型语言模型虽然在短视频理解方面取得了长足进步，但在处理长达数小时的长视频时仍面临挑战。为弥补这一空白，LVBench应运而生。

["谷歌推出新人工智能系统Gemini,该系统表现卓越,在多个基准测试中优于现有模型。","Gemini系统由谷歌DeepMind开发,支持文本、图像、音频、视频和代码等多种模式。","Gemini系统有3个版本,针对不同的使用场景进行了优化。","相比竞争对手,Gemini系统在缩小性能差距方面取得进展。","Gemini系统的多功能特性为其在云服务等领域带来商业化潜力。"]

["亚马逊AWS推出人类基准测试团队，改进人工智能模型评估","亚马逊希望用户能够更好地评估人工智能模型，并鼓励更多人参与这一过程","AWS提供Bedrock上的模型评估，以评估其存储库中的模型","模型评估包括自动评估和人工评估两个部分，可以根据不同指标评估模型性能","AWS还提供人工评估团队与用户合作，检测到自动系统无法检测到的指标"]

["首个 AI agent 系统性基准测试问世，对 25 个不同语言模型的全面评估结果显示：GPT-4 独具一档。","顶级商业语言模型在复杂环境中表现出色，与开源模型存在显著优势。","研究团队建议进一步提高开源模型的学习能力。"]