AI 安全公司 Adversa AI 发布了一项令人震惊的报告，称埃隆・马斯克的创业公司 xAI 刚发布的 Grok3模型在网络安全方面存在重大漏洞。Adversa 的研究团队发现，这款最新的 AI 模型容易受到 “简单的越狱攻击”，这可能使不法分子能够获取诸如 “如何诱骗儿童、处理尸体、提取 DMT 以及制造炸弹” 等敏感信息。更糟糕的是，Adversa 的首席执行官兼联合创始人亚历克斯・波利亚科夫表示，这次漏洞不仅仅是越狱攻击那么简单，他们还发现了一种新的 “提示泄露” 缺陷，暴露了 Grok 模型的完整系

英国政府近期宣布，将原本名为 “AI 安全研究所” 的机构更名为 “AI 安全研究院”，此举标志着政府在 AI 领域战略的重大转变。新的名称不仅反映了机构的职能变化，也表明了英国政府在推动 AI 产业发展方面的坚定决心。图源备注:图片由AI生成，图片授权服务商Midjourney这一变化由科学、工业与技术部公布，新的 AI 安全研究院将重点关注网络安全，旨在 “加强对 AI 对国家安全及犯罪风险的保护”。原本侧重于探讨大语言模型的生存风险和偏见问题，如今将更多的精力转向如何利用 AI 技

在短短六天内，参与者成功绕过了Anthropic人工智能（AI）模型Claude3.5的所有安全防护措施，这一突破为AI安全防护领域带来了新的讨论。前OpenAI对齐团队成员、现就职于Anthropic的Jan Leike在X平台宣布，一名参与者成功攻破了所有八个安全级别。这项集体努力涉及了约3，700小时的测试和来自参与者的300，000条消息。尽管挑战者成功突破，但Leike强调，目前还没有人能够提出一种通用的“越狱方法”来一次性解决所有安全挑战。这意味着尽管存在突破，依然无法找到一种万能的方式来绕过所有的

美国人工智能安全研究所（U.S. AI Safety Institute）的所长埃莉莎白・凯利(Elizabeth Kelly)于本周三宣布辞职，她在 LinkedIn 上发布了这一消息。这一决定使得该新成立的政府机构在特朗普总统领导下的未来方向变得更加不明朗。图源备注:图片由AI生成，图片授权服务商Midjourney凯利自去年上任以来，负责监督该研究所的初步工作，旨在评估和应对日益强大的人工智能系统所带来的风险。她与多家初创企业达成了合作协议，包括 OpenAI 和 Anthropic，允许该研究所在这些公司发布 AI 模型之前进行测试。

近日，Nvidia 宣布在其 NeMo Guardrails 平台上新增三项安全功能，旨在帮助企业更好地管理和控制 AI 聊天机器人。这些微服务专门针对 AI 安全和内容审核中的常见挑战，提供了一系列实用的解决方案。其中，内容安全服务（Content Safety）可以在 AI 响应用户之前，对其内容进行审核，检测是否存在潜在的有害信息。这项服务有助于防止不当内容传播，确保用户得到安全和合适的信息。另外，主题控制服务（Topic Control）旨在确保聊天内容保持在预先设定的主题范围内。这意味着，聊天机器人能够

自2021年以来，微软的 AI 安全团队对100多种生成式 AI 产品进行了测试，以寻找薄弱环节和道德问题。他们的发现挑战了一些关于 AI 安全的常见假设，并强调了人类专业知识的持续重要性。事实证明，最有效的攻击并不总是最复杂的攻击。微软报告中引用的一项研究指出:“真正的黑客不会计算梯度，而是使用快速工程。”该研究将人工智能安全研究与现实世界的实践进行了比较。在一次测试中，该团队仅通过将有害指令隐藏在图像文本中就成功绕过了图像生成器的安全功能——无需复杂的

OpenAI 近日在 AI 安全领域展示了其更为积极的红队测试策略，超越了其竞争对手，尤其是在多步强化学习和外部红队测试这两个关键领域。公司发布的两篇论文为提升 AI 模型的质量、可靠性和安全性设立了新的行业标准。第一篇论文《OpenAI 的 AI 模型与系统外部红队测试方法》指出，外部专业团队在发现内部测试可能遗漏的安全漏洞方面极为有效。这些外部团队由网络安全和特定领域的专家组成，能够识别模型安全边界的缺陷，以及模型中的偏差和控制问题。第二篇论文《多样化和有效的

OpenAI 公布了一种新的 AI 安全方法，旨在通过改变 AI 系统处理安全规则的方式来提升其安全性。这种新的 o 系列模型不再仅仅依赖于通过示例学习好与坏行为，而是能够理解并积极推理特定的安全指南。OpenAI 的研究中举了一个例子，当用户试图通过加密文本获取非法活动的指示时，模型成功解码了信息，但拒绝了请求，并具体引用了将要违反的安全规则。这种逐步推理的过程显示了模型如何有效地遵循相关的安全准则。这款 o1模型的训练过程分为三个阶段。首先，模型学习如何提供帮助。

Mindgard 宣布完成800万美元的融资，旨在加速其研发进程，并推动其在美国市场的扩展。此次融资由.406Ventures 领投，参与投资的还有 Atlantic Bridge、Willowtree Investments 及现有投资者 IQ Capital 和 Lakestar。同时，Mindgard 还任命了两位行业领军人物，分别担任产品负责人和市场副总裁，以强化公司的产品开发和市场推广。随着 AI 技术的迅速普及，新的安全风险层出不穷，传统的安全工具难以应对这种复杂的安全环境。Gartner 的研究显示，29% 的企业在部署 AI 系统时报告遭遇安全 breaches，而仅有10% 的内

在Anthropic公司刚刚推出让Claude能够控制设备的Computer Use功能不到两个月，安全研究人员就发现了其潜在的安全漏洞。网络安全专家Johann Rehnberger最新披露的研究结果令人震惊:通过简单的提示词注入，AI竟然可以被诱导下载并运行恶意软件。Rehnberger将这个漏洞利用方式命名为"ZombAIs"。在演示中，他成功让Claude下载了Sliver——一个原本用于红队测试的开源指挥控制框架，但现已被黑客广泛用作恶意软件工具。更令人担忧的是，这仅仅是冰山一角。研究人员指出，AI还可以被诱导编写、编译并运

法国人工智能初创公司 Mistral AI 近日正式推出了一款全新的内容审核 API，旨在与 OpenAI 及其他行业领军者展开竞争，同时应对日益增长的 AI 安全与内容过滤问题。这项服务基于 Mistral 的 Ministral8B 模型，经过精细调优，能够在九个不同类别中检测潜在的有害内容，包括色情内容、仇恨言论、暴力行为、危险活动以及个人可识别信息等。该 API 同时具备对原始文本和对话内容的分析能力。Mistral AI 在发布会上强调，“安全性在使 AI 变得有用方面扮演着关键角色。” 他们认为，系统级的安全防

最近，加州州长加文・纽森否决了一项备受争议的AI安全法案，引发了科技界和政界的热议，也为AI监管的未来走向投下了一记重磅炸弹。这项由民主党州参议员斯科特・维纳提出的法案，原本旨在为迅猛发展的AI技术设立安全guardrails。它要求对开发成本超过1亿美元或需要特定计算能力的先进AI模型进行安全测试，并要求开发者提供"关闭开关"。此外，该法案还计划建立一个州级机构，专门监督"前沿模型"的开发。图源备注：图片由AI生成，图片授权服务商Midjourney然而，纽森认为这项法案过

美国、英国和欧盟共同签署了首个具有法律约束力的人工智能条约《人工智能框架公约》，旨在确保人工智能应用符合人权、民主和法治原则。条约要求签署国遵循保护用户数据、尊重法律及透明操作等原则，并通过立法、行政等措施予以实施。虽然条约的合规性主要依赖监测，执行力度可能较弱，但该条约被视为各国制定AI法律的重要蓝图。目前，美国、欧盟、英国及若干其他国家已签署，条约将在五个签署国批准后正式生效。此举体现了对AI发展与现有法律体系融合的重视，力求在AI崛起时维护高标准，防止其削弱原有标准。

Safe Superintelligence（SSI）由前OpenAI首席科学家Ilya Sutskever创立，旨在研发安全且超越人类能力的AI系统。公司已筹集10亿美元，估值达50亿美元，目标是专注于AI安全与超智能技术的研发，而非急于市场推出。SSI重视品德和潜力的招聘原则，旨在通过创新思维确保AI技术未来服务于人类，减少风险。公司由Ilya Sutskever领导，与知名投资者如Andreessen Horowitz和Sequoia Capital合作，团队成员主要分布在加利福尼亚和以色列。虽然目前AI安全领域监管复杂，SSI坚信预防AI潜在危害的重要性。

美国商务部国家标准与技术研究所的美国人工智能安全研究所宣布与人工智能领域领军企业Anthropic和OpenAI签署谅解备忘录，旨在合作进行人工智能安全研究、测试与评估。该研究所将在新模型发布前获得使用权，参与评估模型的能力和安全风险，并研究减轻风险的方法。这一协议标志着美国在管理人工智能未来方面迈出的重要一步，强调了安全对于推动技术创新的至关重要性。通过与英国合作伙伴的紧密合作，提供模型安全改进反馈，NIST将利用其在测量科学、技术、标准及相关工具领域的百年成就，进一步推动人工智能系统的安全性和可靠性。这些合作与评估工作将有助于落实拜登-哈里斯政府关于人工智能的行政命令，加强主要人工智能开发者对政府自愿承诺的执行，促进人工智能的安全、可靠和值得信赖的开发和使用。

马斯克公开支持加州SB1047法案，旨在要求大型AI模型制造商制定防范措施以应对潜在危害。该法案要求记录防止AI造成严重损害的策略。马斯克强调对AI监管的必要性，与他过去对AI风险的关注一致。他的AI公司xAI将受SB1047法案约束。与此形成对比的是，OpenAI反对SB1047法案，支持另一个替代方案。这一事件凸显了AI监管在行业内的复杂性和争议性。

马斯克支持加州SB1047法案，要求大型AI模型开发公司需记录防止模型造成严重危害的安全措施。他强调过去一直倡导AI监管，认为应如同监管有风险的产品和技术。马斯克的公司xAI将受此法案约束，尽管他计划离开加州。与之形成对比，OpenAI公开反对SB1047，支持替代法案。Adobe和微软则支持加州另项新法案AB3211，要求标记AI生成内容。这些动态凸显了科技行业在AI监管方面的分歧，马斯克与OpenAI的立场对立成为焦点。

OpenAI及多家科技公司反对加州旨在确保人工智能安全与透明度的法案，担忧此举将阻碍AI技术的创新与发展，可能导致行业的外流。OpenAI在声明中指出，过于严格的法规会限制开发人员和研究人员的创造力，并限制探索与实验。他们强调技术创新需要灵活性，而不是被法律束缚。OpenAI希望与立法者展开对话，推动一个更合理且符合行业发展趋势的法律框架。若法案通过，可能成为其他州及国家立法的参考，影响全球科技产业。双方在安全与创新之间寻求平衡，但观点存在分歧。

Anthropic公司宣布扩大其漏洞奖励计划，旨在测试一种“下一代AI安全缓解系统”，主要聚焦识别和防御“通用越狱攻击”。特别关注高风险领域，包括CBRN防御和网络安全。参与者有机会提前接触新安全系统，发现漏洞或绕过安全措施，最高奖励15,000美元。此举措旨在提升AI系统安全性，通过吸引安全研究人员共同发现和修复潜在威胁，为AI行业安全防护树立标杆。

当前，人工智能尤其是大型语言模型（LLMs）的发展引发了对网络安全法律的关注。哈佛大学学者在黑帽大会上指出，美国《计算机欺诈和滥用法》未能有效保护AI安全研究人员，可能使他们面临法律风险。学者们指出，现有法律对于如“提示注入攻击”等行为界定模糊，研究人员难以判断行为合法性。2021年最高法院判决限制了CFAA的应用，但AI交互的特殊性使其界定更复杂。AI安全研究法律讨论远不及版权问题，研究者对自身行为合法性存疑。学者建议安全研究人员寻求法律支持，并担忧模糊法律可能导致有潜力的研究人员退出，让恶意攻击者得逞，增加安全隐患。未来可能通过法庭诉讼来澄清法律条款，保护善意研究者。