随着人工智能技术的迅猛发展，许多公司纷纷推出各自的 “AI 代理” 系统，这些代理能够自主与环境互动，完成无需人类干预的任务。微软和 Anthropic 等公司已率先推出了自己的 AI 代理，而行业领导者 OpenAI 却迟迟未能发布自己的版本，这背后的原因令人深思。据《The Information》报道，OpenAI 的推迟与 “提示注入” 攻击有关。这种攻击方式可以诱使 AI 模型接受恶意方的指令。例如，当用户指派 AI 代理在线搜索和购买物品时，AI 可能无意中访问一个恶意网站，该网站可能会指示它忘记先前

安全公司PromptArmor揭示了Slack AI的严重安全漏洞，指出其易受恶意提示注入攻击。Slack AI作为Salesforce团队通讯服务的附加功能，用于生成性任务如总结对话、回答问题和汇总不常访问的频道信息。然而，PromptArmor指出，Slack AI的安全性并未达到其宣称水平。核心漏洞在于Slack允许查询公共和私密频道的数据，包括用户未加入的公共频道。攻击者可在私密频道中放置API密钥，创建公共频道后输入恶意提示，Slack AI将这些提示作为上下文引入生成内容，可能导致数据泄露。Slack在更新中添加的文件共享功能进一步增加了风险。PromptArmor建议限制文档访问，直到问题解决。尽管已告知Slack，但Slack对此漏洞的回应不足，导致用户担忧增加。

开发者Evan Zhou在MacOS15.1Beta1中利用名为“提示注入”的攻击方式，成功操控了苹果新AI系统Apple Intelligence，绕过指令，任意响应提示。最初目标是改写文本质量，但通过Reddit用户分享的提示信息，Zhou构造了覆盖系统提示的攻击，让AI忽略原有指令并回应新文本。这一发现引起广泛关注，尽管Apple Intelligence系统较为复杂，防止“提示注入”的问题仍未彻底解决，显示出AI系统安全性的挑战。

当前，人工智能尤其是大型语言模型（LLMs）的发展引发了对网络安全法律的关注。哈佛大学学者在黑帽大会上指出，美国《计算机欺诈和滥用法》未能有效保护AI安全研究人员，可能使他们面临法律风险。学者们指出，现有法律对于如“提示注入攻击”等行为界定模糊，研究人员难以判断行为合法性。2021年最高法院判决限制了CFAA的应用，但AI交互的特殊性使其界定更复杂。AI安全研究法律讨论远不及版权问题，研究者对自身行为合法性存疑。学者建议安全研究人员寻求法律支持，并担忧模糊法律可能导致有潜力的研究人员退出，让恶意攻击者得逞，增加安全隐患。未来可能通过法庭诉讼来澄清法律条款，保护善意研究者。

Meta 发布的 Prompt-Guard-86M 模型旨在防御提示注入攻击，通过限制大型语言模型处理不当输入，保护系统安全。然而，该模型自身也暴露出被攻击的风险。Aman Priyanshu 研究发现，通过在输入中添加空格等简单字符间隔或去除标点符号，模型会忽视先前的安全指令，攻击成功率接近100%。这一发现突显了 AI 安全性的重要性，尽管 Prompt-Guard 只是防线的一部分，但它揭示了企业在使用 AI 时面临的潜在威胁。Meta 正在积极寻找解决方案以增强模型的安全性。