Anthropic公司宣布扩大其漏洞奖励计划，旨在测试一种“下一代AI安全缓解系统”，主要聚焦识别和防御“通用越狱攻击”。特别关注高风险领域，包括CBRN防御和网络安全。参与者有机会提前接触新安全系统，发现漏洞或绕过安全措施，最高奖励15,000美元。此举措旨在提升AI系统安全性，通过吸引安全研究人员共同发现和修复潜在威胁，为AI行业安全防护树立标杆。

Meta 发布的 Prompt-Guard-86M 模型旨在防御提示注入攻击，通过限制大型语言模型处理不当输入，保护系统安全。然而，该模型自身也暴露出被攻击的风险。Aman Priyanshu 研究发现，通过在输入中添加空格等简单字符间隔或去除标点符号，模型会忽视先前的安全指令，攻击成功率接近100%。这一发现突显了 AI 安全性的重要性，尽管 Prompt-Guard 只是防线的一部分，但它揭示了企业在使用 AI 时面临的潜在威胁。Meta 正在积极寻找解决方案以增强模型的安全性。

["OpenAI 公布安全系统团队的举措","团队致力于确保 AI 大模型的安全性和可靠性","包括安全工程、模型安全研究、安全推理研究和人机交互等多个小组","解决人工智能安全问题，确保模型行为与人类价值观一致","以模型行为一致性为核心的研究是重点"]