近日，Vectara 发布了一份名为 “幻觉排行榜” 的报告，比较了不同大型语言模型（LLM）在总结短文档时产生幻觉的表现。这份排行榜利用了 Vectara 的 Hughes 幻觉评估模型(HHEM-2.1)，该模型定期更新，旨在评估这些模型在摘要中引入虚假信息的频率。根据最新数据，报告指出了一系列流行模型的幻觉率、事实一致性率、应答率以及平均摘要长度等关键指标。在最新的排行榜中，谷歌的 Gemini2.0系列表现出色，尤其是 Gemini-2.0-Flash-001，以0.7% 的低幻觉率位居榜首，显示出其在处理文档时几乎没有引

在软件工程领域，随着挑战的不断演变，传统的基准测试方法显得力不从心。自由职业的软件工程工作复杂多变，远不止是孤立的编码任务。自由职业工程师需要处理整个代码库，集成多种系统，并满足复杂的客户需求。而传统的评估方法通常侧重于单元测试，无法充分反映全栈性能和解决方案的实际经济影响。因此，开发更为真实的评估方法显得尤为重要。为此，OpenAI 推出了 SWE-Lancer，一个针对真实世界自由软件工程工作进行模型性能评估的基准测试。该基准测试基于来自 Upwork 和 Expen

阿里巴巴 Qwen 团队近日发布了题为《数学推理中过程奖励模型的开发经验教训》的论文，并推出了 Qwen2.5-Math-PRM 系列中的两个新模型，分别具有7B 和72B 参数。这些模型在数学推理中突破了现有 PRM 框架的限制，通过创新技术显著提高了推理模型的准确性和泛化能力。数学推理一直是大型语言模型（LLM）面临的重大挑战，尤其是在中间推理步骤中，错误往往会影响最终输出的准确性，这对于教育、科学计算等对精确度要求高的领域尤其成问题。传统评估方法，如 Best-of-N(BoN)策略，无法充分捕

在足球技术的革新上，上海交通大学和阿里巴巴的研究人员迈出了重要的一步。他们的新型人工智能系统——MatchVision——不仅能观看足球比赛，还能识别关键打法，并提供与人类播音员类似的评论。该技术基于名为“SoccerReplay-1988”的大型数据集开发，该数据集包含从2014年至2024年期间欧洲顶级联赛和欧洲冠军联赛的近2，000场完整比赛，共计超过3，300小时的比赛片段。每个比赛平均有76个评论片段。该表显示了 MatchVision 如何识别比赛中的关键时刻并为每个场景生成评论。| 图片:Rao、Wu 等

一项最新研究表明，顶尖的人工智能模型在接受蒙特利尔认知评估（MoCA）测试时，表现出与早期痴呆症状相似的认知障碍。这项发现强调了人工智能在临床应用中的局限性，尤其是在需要视觉和执行技能的任务中。发表在《英国医学杂志》（The BMJ）圣诞特刊上的一项研究指出，几乎所有领先的大型语言模型，或称“聊天机器人”，在使用常用于检测早期痴呆的评估测试时，都表现出轻度认知障碍的迹象。该研究还发现，这些聊天机器人的旧版本，就像衰老的人类患者一样，在测试中的表

近日，谷歌旗下的 AI 项目 Gemini 因其内部新规引发了对信息准确性的担忧。据报道，负责评估 AI 生成内容的外包人员被要求对他们不具备专业知识的领域进行评分，尤其是在医疗健康等敏感话题上。这些外包人员来自于全球技术服务公司 GlobalLogic，谷歌要求他们评估 AI 生成的回复，主要考量 “真实性” 等因素。此前，外包人员可以选择跳过那些他们没有相关专业知识的问题，例如，他们可以在遇到关于心脏病学的专业问题时，选择不作评估。这样做是为了确保评分的准确性，只有具备相

近日，阿里巴巴 Qwen 团队的研究人员推出了一个名为 “PROCESSBENCH” 的新基准测试，旨在衡量语言模型在数学推理中识别过程错误的能力。随着语言模型在复杂推理任务中取得显著进展，这一领域的研究者们发现，尽管模型表现出色，但在处理某些困难问题时依然面临挑战。因此，开发一种有效的监督方法显得尤为重要。当前，针对语言模型的评估基准存在一些不足之处。一方面，一些问题集对于高级模型而言变得过于简单，另一方面，现有的评估方法往往只提供二元的正确性评估，而缺

12月5日，字节豆包大模型团队推出了最新的代码大模型评估基准——FullStack Bench，涵盖了超11类真实场景，支持16种编程语言，并包含3374个问题。这一基准相比之前的评估标准，在更广泛的编程领域中能更准确地评估大模型的代码开发能力，推动了模型在现实世界编程任务中的优化。目前的主流代码评估基准，如HumanEval和MBPP，通常集中在基础和高级编程问题，而DS-1000则专注于数据分析和机器学习任务，且仅支持Python。xCodeEval则侧重于高级编程和数学领域，存在较大的应用场景和语言覆盖限

北京智源人工智能研究院（BAAI）最近推出了全球首个中文大模型辩论平台FlagEval Debate。这一新平台旨在通过模型辩论这一竞争机制，为大语言模型的能力评估提供新的度量方式。它是智源模型对战评测服务FlagEval大模型角斗场的扩展，目标是甄别大语言模型之间的能力差异。

在自然语言处理领域，大型语言模型（LLMs）的发展迅速，已经在多个领域取得了显著的进展。不过，随着模型的复杂性增加，如何准确评估它们的输出就变得至关重要。传统上，我们依赖人类来进行评估，但这种方式既耗时又难以规模化，无法跟上模型快速发展的步伐。为了改变这种现状，Salesforce AI 研究团队推出了 SFR-Judge，这是一个由三个大型语言模型组成的评估家族。这些模型分别拥有80亿、120亿和700亿个参数，基于 Meta Llama3和 Mistral NeMO 构建。SFR-Judge 能够执行多种评估任务，包括成

Hugging Face 近期发布 LightEval，一款轻量化 AI 评估工具，旨在辅助企业和研究机构更精准地评估大型语言模型。此工具强调评估在 AI 技术应用中的重要性，帮助确保模型输出的准确性、无偏见性，以及与业务目标的一致性。针对传统评估方法的局限性，LightEval 提供了定制化的评估方案，与 Hugging Face 的其他工具如 Datatrove 和 Nanotron 集成，支持多种设备评估，包括 CPU、GPU 和 TPU，以适应不同硬件环境。作为开源项目，LightEval 允许企业自行运行评估，确保模型在投入生产前符合其道德和业务标准。其易用性与多功能性，使得即使是技术水平不高的用户也能进行复杂模型的评估，包括在多种流行基准上进行评估，甚至定义自定义任务。用户还可根据特定需求，调整模型评估的配置，如权重、管道并行性等。

Geekbench AI 是一款新发布的跨平台工具，专为评估 AI 密集型工作负载设计。它通过测量设备的 CPU、GPU 和 NPU，以及支持多种机器学习框架，来判断设备处理 AI 应用程序的能力。Geekbench AI 提供全精度、半精度和量化分数，并伴随准确性评估，帮助用户了解模型执行任务的真实程度。用户可在 Windows、macOS、Linux、Android 和 iOS 平台上下载并测试设备的 AI 处理性能。随着 AI 技术的发展，这款工具为评估设备在 AI 任务上的表现提供了重要依据。

Geekbench AI是一款全新的跨平台工具，旨在评估设备在AI密集型工作负载下的性能，通过测试CPU、GPU和NPU，判断设备处理机器学习应用的能力。它支持多种AI框架，如ONNX、CoreML、TensorFlow Lite和OpenVINO，并从速度和准确性两个维度评估性能，提供全精度、半精度和量化精度三个分数。此外，Geekbench AI的测试结果包含了准确性测量，以评估工作负载输出与真实结果的接近程度。该工具已在Windows、macOS、Linux、Android和iOS平台上发布，用户可下载试用。随着AI技术的发展，Geekbench AI的出现改变了评估设备性能的方式，为设备AI能力的评估提供了新标准。然而，AI性能测试仍处于早期阶段，其与实际用户体验的关联及准确反映不同AI应用场景下的设备表现还需进一步观察。

OpenAI发布SWE-bench Verified，旨在更精确评估AI在软件工程任务中的表现，解决原SWE-bench存在的评估局限性，如过于严格的单元测试、不明确的问题描述和难以设置的开发环境。新基准通过引入容器化Docker环境，提高了评估的一致性和可靠性，显著提升了AI模型的表现评分。GPT-4o在新基准下解决了33.2%的样本，而最佳开源代理框架Agentless的得分也显著提高。这一改进有助于更准确地捕捉AI模型在软件工程任务中的真实能力，为AI在软件开发领域的应用提供更精确的评估工具，对推动相关技术发展具有重要意义。

OpenAI最近发布了GPT-4o系统卡，详细介绍了在推出新模型前的安全措施和风险评估。GPT-4o在五月份正式上线，评估显示整体风险为“中等”，主要风险集中在网络安全、生物威胁、说服力和模型自主性上。研究人员发现，虽然GPT-4o在影响读者意见方面可能更具说服力，但整体上并未超过人类。在发布系统卡的同时，OpenAI面临来自内部员工和州参议员的批评，质疑其安全标准。一封公开信呼吁提供关于如何处理举报者和安全审查的解答。GPT-4o的发布正值美国总统选举前，存在误传信息或被恶意利用的潜在风险。OpenAI希望通过实际场景的测试来防止滥用，但其透明度受到了公众的关注，尤其是加州参议员斯科特·维纳正在推动的一项法案，旨在规范大型语言模型的使用，并要求公司在其AI被用作有害用途时承担法律责任。

自然语言处理领域中，大型语言模型在复杂任务上表现出色，但模型评估高度依赖昂贵且耗时的人类注释数据，且随着模型进步，原有数据的效用下降，需持续收集新数据以维持评估的规模化与可持续性。Meta FAIR 研究团队针对这一问题提出“Self-Taught Evaluator”（自学评估器），这一创新方法通过合成数据进行训练，无需依赖人类注释。通过生成对比的合成偏好对，模型自我评估与迭代改进，显著提高了模型在 RewardBench 基准上的准确率，从75.4提升至88.7，甚至超越了使用人类注释训练的模型。经过多次迭代，最终模型在单次推理中达到88.3的准确率，多数投票下达到88.7，展现出强大的稳定性和可靠性。此方法为 NLP 模型评估提供了可扩展且高效的解决方案，通过利用合成数据和迭代自我改进，有效应对了依赖人类注释的挑战，推动了语言模型的发展。

蚂蚁集团与新京报、贝壳财经合作，研发了“贝壳财经·智引ESG”大模型产品，旨在精准解析A股上市公司ESG报告。这款产品能够实时解答用户关于ESG的疑问，提供深度分析，利用蚂蚁集团AI产业助理支小助的AI技术支持，结合agentUniverse多智能体框架，模仿专家知识，为ESG高关注领域提供专业分析。贝壳财经提供专业资料及分析方法论，强化了产品的专业性。用户可通过提问获取对ESG报告的专业理解，产品还集成ESG相关知识，包括政策、行业标准、市场动态，全方位评估优化上市公司ESG。体验通道提供，AI服务渗透至日常，方便快捷。此外，产品也开放给产业端定制AI工具，赋能各行业革新与效率提升。

据彭博社消息，OpenAI公司已创建了一个内部量表，用于追踪其大型语言模型在通用人工智能（AGI）方面的进展。这一举措不仅展示了OpenAI在AGI领域的雄心，也为业界提供了一个衡量AI发展的新标准。

Anthropic发布AI开发平台新功能，以简化AI应用开发流程。新亮点包括在控制台生成、测试和评估AI提示的能力，自动生成测试用例和比较输出功能，以及由Claude 3.5 Sonnet支持的提示生成器。开发者只需描述任务，Claude即可生成高质量提示。更新还引入测试套件生成功能，允许用户添加或导入测试用例，并可一键运行所有测试，调整参数。包括响应评估工具和并排比较输出选项，以改进提示并邀请专家评分，目标是加速和提高AI应用的性能优化。此更新为目标人群提供了更高效、便捷的AI开发方式，并促进了AI领域的创新和进步。

Anthropic公司周一宣布启动一项新计划，旨在资助开发能够评估人工智能模型性能和影响的新型基准，包括像其自家Claude这样的生成模型。