OpenAI 近日在 AI 安全领域展示了其更为积极的红队测试策略,超越了其竞争对手,尤其是在多步强化学习和外部红队测试这两个关键领域。公司发布的两篇论文为提升 AI 模型的质量、可靠性和安全性设立了新的行业标准。第一篇论文《OpenAI 的 AI 模型与系统外部红队测试方法》指出,外部专业团队在发现内部测试可能遗漏的安全漏洞方面极为有效。这些外部团队由网络安全和特定领域的专家组成,能够识别模型安全边界的缺陷,以及模型中的偏差和控制问题。第二篇论文《多样化和有效的
在北京智谱华章科技有限公司的年度收官之际,公司发布了其首个基于扩展强化学习技术训练的推理模型——GLM-Zero的初代版本GLM-Zero-Preview。这款模型专注于提升人工智能的推理能力,尤其在数理逻辑、代码编写以及需要深度推理的复杂问题处理方面表现出色。与基座模型相比,GLM-Zero-Preview在保持通用任务能力的同时,专家任务能力得到了显著提升,其在AIME2024、MATH500和LiveCodeBench评测中的表现与OpenAI o1-preview相当。
月之暗面今日宣布发布全新视觉思考模型k1。这一模型基于强化学习技术,不仅支持端到端的图像理解,还整合了思维链技术,将能力扩展到了数学之外的更多基础科学领域,包括物理和化学。在基准能力测试中,k1模型的表现超越了全球领先的标杆模型,如OpenAI的o1、GPT-4o以及Claude3.5Sonnet。
强化学习在近年来取得了许多成功,但其样本效率低下,限制了其在现实世界中的应用。世界模型作为一种环境生成模型,为解决这一问题提供了希望。它可以作为模拟环境,以更高的样本效率训练强化学习智能体。目前,大多数世界模型通过离散潜变量序列来模拟环境动态。然而,这种压缩成紧凑离散表示的方法可能会忽略对强化学习至关重要的视觉细节。与此同时,扩散模型已经成为图像生成领域的主导方法,挑战了传统的离散潜变量建模方法。受此启发,研究人员提出了一种名为DI