近日，网络安全公司 Palo Alto Networks 的 Unit42研究团队发布了一项令人瞩目的研究，揭露了一种名为 “Deceptive Delight”的新型越狱方法。这个方法能够在仅仅两到三次交互中，就成功诱导大型语言模型（LLM）生成有害内容，其成功率高达65%。这一发现为保护 LLM 的安全性敲响了警钟。图源备注：图片由AI生成，图片授权服务商Midjourney研究团队在测试中分析了多达8000个案例，并评估了八种不同的语言模型。在这个越狱技术的第一步，攻击者首先会要求 LLM 生成一个叙述，这个叙述包含两个无害

一项新的研究表明，大型语言模型中出于善意的安全措施可能会带来意外的弱点。研究人员发现，根据不同的人口统计学术语，模型被“越狱”的难易程度存在显著差异。这项名为“Do LLMs Have Political Correctness?”的研究探讨了人口统计学关键词如何影响越狱尝试的成功几率。研究发现，使用边缘群体术语的提示比使用特权群体术语的提示更有可能产生不需要的输出。研究人员指出:“这些故意的偏见导致GPT-4o模型在非二元性别和顺性别关键词之间的越狱成功率相差20%，白人和黑人关键词之间

Anthropic公司宣布扩大其漏洞奖励计划，旨在测试一种“下一代AI安全缓解系统”，主要聚焦识别和防御“通用越狱攻击”。特别关注高风险领域，包括CBRN防御和网络安全。参与者有机会提前接触新安全系统，发现漏洞或绕过安全措施，最高奖励15,000美元。此举措旨在提升AI系统安全性，通过吸引安全研究人员共同发现和修复潜在威胁，为AI行业安全防护树立标杆。

文章指出，大型语言模型（LLMs）在处理自然语言任务中展现出色，然而，基于监督式微调、人类反馈的强化学习与对抗性训练等方式的模型拒绝对有害请求的机制表现出了脆弱性。研究人员发现，通过将有害请求转换为过去时态，关键模型能够“绕过”拒绝训练，显著提高其成功率。以GPT-4o为例，率从1%提升至88%。这表明，尽管应对策略存在局限性，在不同语言及特定输入编码下体现良好泛化能力，但处理不同时态的问题时则表现不佳。为提高模型对过去时态重构请求的拒绝能力，论文建议在训练数据中明确包含过去时态实例。该研究揭示了当前对齐技术的局限性与AI泛化能力之间存在差距，并提醒我们需要仔细审视逐渐发展的AI安全保障。

北航和南洋理工的联合研究团队对GPT-4o模型进行了深入的安全性测试。通过上万次的API查询，研究人员对GPT-4o的文本、图像、音频三种模态进行了安全性评估。研究发现，尽管GPT-4o在文本越狱攻击的安全性上有所提升，但新引入的语音模态增加了新的攻击面，且整体多模态安全性不如前一代模型GPT-4V。

["OpenAI 的 DALL-E3，一种图像生成 AI 技术，被发现容易受到越狱提示的影响，导致生成了儿童吸烟的照片。","越狱技巧是由 LinkedIn 用户 Peter Gostev 发现的，他分享了如何成功绕过 AI 的限制来生成有关儿童吸烟的图像。","尽管越狱提示相当复杂，但这个事件提醒人们即使是硅谷最富有的公司也难以为其 AI 系统建立全面的防护措施。"]

["外国网友发现全新越狱技术，通过乱序的 prompt 让 ChatGPT 生成勒索软件。","利用人脑理解乱序的字句和单词的特点，绕过安全过滤器。","Jim Fan 对 GPT 模型读懂乱序的单词感到惊讶。"]