AI 安全公司 Adversa AI 发布了一项令人震惊的报告，称埃隆・马斯克的创业公司 xAI 刚发布的 Grok3模型在网络安全方面存在重大漏洞。Adversa 的研究团队发现，这款最新的 AI 模型容易受到 “简单的越狱攻击”，这可能使不法分子能够获取诸如 “如何诱骗儿童、处理尸体、提取 DMT 以及制造炸弹” 等敏感信息。更糟糕的是，Adversa 的首席执行官兼联合创始人亚历克斯・波利亚科夫表示，这次漏洞不仅仅是越狱攻击那么简单，他们还发现了一种新的 “提示泄露” 缺陷，暴露了 Grok 模型的完整系

在短短六天内，参与者成功绕过了Anthropic人工智能（AI）模型Claude3.5的所有安全防护措施，这一突破为AI安全防护领域带来了新的讨论。前OpenAI对齐团队成员、现就职于Anthropic的Jan Leike在X平台宣布，一名参与者成功攻破了所有八个安全级别。这项集体努力涉及了约3，700小时的测试和来自参与者的300，000条消息。尽管挑战者成功突破，但Leike强调，目前还没有人能够提出一种通用的“越狱方法”来一次性解决所有安全挑战。这意味着尽管存在突破，依然无法找到一种万能的方式来绕过所有的

人工智能公司 Anthropic 近日宣布开发了一种名为“体质分类器”的新安全方法，旨在保护语言模型免受恶意操纵。该技术专门针对“通用越狱”——一种试图系统性绕过所有安全措施的输入方式，以防止 AI 模型生成有害内容。为了验证这一技术的有效性，Anthropic 进行了一项大规模测试。公司招募了183名参与者，在两个月内尝试突破其防御系统。参与者被要求通过输入特定问题，试图让人工智能模型 Claude3.5回答十个禁止的问题。尽管提供了高达15，000美元的奖金和约3，000小时的测试时间，

近期的研究表明，市场上最先进的 AI 聊天机器人竟然对一些简单的技巧十分敏感，甚至可以被轻易 “越狱”。根据《404媒体》的报道，Claude 聊天机器人的开发公司 Anthropic 发现，只需在提示中故意加入一些拼写错误，便能使这些大型语言模型忽视自身的安全防护措施，生成一些本应拒绝回答的内容。图源备注:图片由AI生成，图片授权服务商Midjourney研究团队开发了一种简单的算法，名为 “最佳选择（Best-of-N， BoN）越狱”，通过对同一提示的不同变体进行尝试，诸如随机大写字母、字母替

近日，网络安全公司 Palo Alto Networks 的 Unit42研究团队发布了一项令人瞩目的研究，揭露了一种名为 “Deceptive Delight”的新型越狱方法。这个方法能够在仅仅两到三次交互中，就成功诱导大型语言模型（LLM）生成有害内容，其成功率高达65%。这一发现为保护 LLM 的安全性敲响了警钟。图源备注：图片由AI生成，图片授权服务商Midjourney研究团队在测试中分析了多达8000个案例，并评估了八种不同的语言模型。在这个越狱技术的第一步，攻击者首先会要求 LLM 生成一个叙述，这个叙述包含两个无害

一项新的研究表明，大型语言模型中出于善意的安全措施可能会带来意外的弱点。研究人员发现，根据不同的人口统计学术语，模型被“越狱”的难易程度存在显著差异。这项名为“Do LLMs Have Political Correctness?”的研究探讨了人口统计学关键词如何影响越狱尝试的成功几率。研究发现，使用边缘群体术语的提示比使用特权群体术语的提示更有可能产生不需要的输出。研究人员指出:“这些故意的偏见导致GPT-4o模型在非二元性别和顺性别关键词之间的越狱成功率相差20%，白人和黑人关键词之间

Anthropic公司宣布扩大其漏洞奖励计划，旨在测试一种“下一代AI安全缓解系统”，主要聚焦识别和防御“通用越狱攻击”。特别关注高风险领域，包括CBRN防御和网络安全。参与者有机会提前接触新安全系统，发现漏洞或绕过安全措施，最高奖励15,000美元。此举措旨在提升AI系统安全性，通过吸引安全研究人员共同发现和修复潜在威胁，为AI行业安全防护树立标杆。

文章指出，大型语言模型（LLMs）在处理自然语言任务中展现出色，然而，基于监督式微调、人类反馈的强化学习与对抗性训练等方式的模型拒绝对有害请求的机制表现出了脆弱性。研究人员发现，通过将有害请求转换为过去时态，关键模型能够“绕过”拒绝训练，显著提高其成功率。以GPT-4o为例，率从1%提升至88%。这表明，尽管应对策略存在局限性，在不同语言及特定输入编码下体现良好泛化能力，但处理不同时态的问题时则表现不佳。为提高模型对过去时态重构请求的拒绝能力，论文建议在训练数据中明确包含过去时态实例。该研究揭示了当前对齐技术的局限性与AI泛化能力之间存在差距，并提醒我们需要仔细审视逐渐发展的AI安全保障。

北航和南洋理工的联合研究团队对GPT-4o模型进行了深入的安全性测试。通过上万次的API查询，研究人员对GPT-4o的文本、图像、音频三种模态进行了安全性评估。研究发现，尽管GPT-4o在文本越狱攻击的安全性上有所提升，但新引入的语音模态增加了新的攻击面，且整体多模态安全性不如前一代模型GPT-4V。

["OpenAI 的 DALL-E3，一种图像生成 AI 技术，被发现容易受到越狱提示的影响，导致生成了儿童吸烟的照片。","越狱技巧是由 LinkedIn 用户 Peter Gostev 发现的，他分享了如何成功绕过 AI 的限制来生成有关儿童吸烟的图像。","尽管越狱提示相当复杂，但这个事件提醒人们即使是硅谷最富有的公司也难以为其 AI 系统建立全面的防护措施。"]

["外国网友发现全新越狱技术，通过乱序的 prompt 让 ChatGPT 生成勒索软件。","利用人脑理解乱序的字句和单词的特点，绕过安全过滤器。","Jim Fan 对 GPT 模型读懂乱序的单词感到惊讶。"]