Patronus AI发布SimpleSafetyTests测试套件,发现ChatGPT等AI系统存在关键安全漏洞。测试揭示了11个LLMs中的严重弱点,强调安全提示可减少不安全响应。结果表明在处理真实世界应用之前,LLMs需要严格而定制的安全解决方案。
Patronus AI发现领先AI系统存在“令人担忧”的安全漏洞

Patronus AI发布SimpleSafetyTests测试套件,发现ChatGPT等AI系统存在关键安全漏洞。测试揭示了11个LLMs中的严重弱点,强调安全提示可减少不安全响应。结果表明在处理真实世界应用之前,LLMs需要严格而定制的安全解决方案。
AI 安全公司 Adversa AI 发布了一项令人震惊的报告,称埃隆・马斯克的创业公司 xAI 刚发布的 Grok3模型在网络安全方面存在重大漏洞。Adversa 的研究团队发现,这款最新的 AI 模型容易受到 “简单的越狱攻击”,这可能使不法分子能够获取诸如 “如何诱骗儿童、处理尸体、提取 DMT 以及制造炸弹” 等敏感信息。更糟糕的是,Adversa 的首席执行官兼联合创始人亚历克斯・波利亚科夫表示,这次漏洞不仅仅是越狱攻击那么简单,他们还发现了一种新的 “提示泄露” 缺陷,暴露了 Grok 模型的完整系
英国政府近期宣布,将原本名为 “AI 安全研究所” 的机构更名为 “AI 安全研究院”,此举标志着政府在 AI 领域战略的重大转变。新的名称不仅反映了机构的职能变化,也表明了英国政府在推动 AI 产业发展方面的坚定决心。图源备注:图片由AI生成,图片授权服务商Midjourney这一变化由科学、工业与技术部公布,新的 AI 安全研究院将重点关注网络安全,旨在 “加强对 AI 对国家安全及犯罪风险的保护”。原本侧重于探讨大语言模型的生存风险和偏见问题,如今将更多的精力转向如何利用 AI 技
在短短六天内,参与者成功绕过了Anthropic人工智能(AI)模型Claude3.5的所有安全防护措施,这一突破为AI安全防护领域带来了新的讨论。前OpenAI对齐团队成员、现就职于Anthropic的Jan Leike在X平台宣布,一名参与者成功攻破了所有八个安全级别。这项集体努力涉及了约3,700小时的测试和来自参与者的300,000条消息。尽管挑战者成功突破,但Leike强调,目前还没有人能够提出一种通用的“越狱方法”来一次性解决所有安全挑战。这意味着尽管存在突破,依然无法找到一种万能的方式来绕过所有的
美国人工智能安全研究所(U.S. AI Safety Institute)的所长埃莉莎白・凯利(Elizabeth Kelly)于本周三宣布辞职,她在 LinkedIn 上发布了这一消息。这一决定使得该新成立的政府机构在特朗普总统领导下的未来方向变得更加不明朗。图源备注:图片由AI生成,图片授权服务商Midjourney凯利自去年上任以来,负责监督该研究所的初步工作,旨在评估和应对日益强大的人工智能系统所带来的风险。她与多家初创企业达成了合作协议,包括 OpenAI 和 Anthropic,允许该研究所在这些公司发布 AI 模型之前进行测试。