谷歌近日宣布，其最新开发的 AI 模型 “Big Sleep” 成功在 SQLite 数据库中发现了一处内存安全漏洞。这一漏洞是一种可被利用的栈缓冲下溢问题，令该代码在正式发布前得以修复。Big Sleep 是谷歌 Project Zero 与 DeepMind 的合作成果，被视为早期 Project Naptime 的升级版。SQLite 作为一种开源数据库引擎，这一漏洞可能使攻击者通过恶意构造的数据库或 SQL 注入，导致 SQLite 执行崩溃或甚至实现任意代码执行。具体来说，问题源于一个魔法值 -1意外被用作数组索引，虽然代码中有 assert （） 来捕获这一

就在苹果即将推出其私人 AI 云服务 “私有云计算（Private Cloud Compute）” 之际，这家科技巨头决定向安全研究人员提供高达100万美元的奖励，旨在发现可能危害其云服务安全的漏洞。苹果在其安全博客上发布了一则消息，明确表示任何能够报告远程执行恶意代码的漏洞的研究人员，将有机会获得最高100万美元的奖金。图源备注：图片由AI生成，图片授权服务商Midjourney此外，苹果还为那些私下报告能够提取用户敏感信息或提交给私人云的提示的漏洞提供最高25万美元的奖励。他们特别提到，

最近，在意大利举行的 No Hat 安全会议上位于西雅的 Protect AI 公司宣布推出一款名为 Vulnhuntr 的开源工具。这款工具的目的很明确，就是通过 Anthropic 的 Claude AI 模型，来帮助开发者发现 Python 代码中的零日漏洞。 Vulnhuntr 的工作方式与传统的静态代码分析工具大相径庭。该工具并不是简单地将代码片段提交给 AI 分析，而是会自动找到那些可能处理远程用户输入的项目文件。随后，Claude AI 会针对这些潜在的漏洞进行深入分析。在这个过程中，Claude 会不断请求代码中的函数、类和变量，以完整

近日，一项由瑞士初创公司 LatticeFlow 开发的 AI 模型合规检查工具引起了广泛关注。该工具测试了多家大科技公司，包括 Meta 和 OpenAI，开发的生成性 AI 模型，结果显示，这些模型在网络安全和歧视性输出等关键领域存在明显不足。图源备注：图片由AI生成，图片授权服务商Midjourney自从2022年末 OpenAI 发布 ChatGPT 以来，欧盟对新的人工智能法规进行了长时间的讨论。由于 ChatGPT 的火爆以及公众对 AI 潜在风险的广泛讨论，立法者们开始着手制定针对 “通用人工智能”（GPAI）的具体规则。随着欧

白帽黑客Johann Rehberger近日揭露了一个令人震惊的安全漏洞，他发现ChatGPT可被黑客利用作为间谍软件，持续窃取用户数据。Rehberger将这种攻击方式命名为"SpAIware"，主要针对macOS版ChatGPT应用程序的新功能——长期记忆。这一漏洞利用了ChatGPT最近推出的持久记忆功能。通过精心构造的提示注入，黑客可以在ChatGPT的长期记忆中植入恶意命令，使其将用户的对话内容传送至远程服务器。更令人担忧的是，这种攻击甚至不需要直接访问用户账户，可通过编码在图像或网站中的有效载荷实现。图源备

最近，安全研究员约翰・瑞贝格（Johann Rehberger）发现了一个关于 ChatGPT 的漏洞，这个漏洞可能让黑客在用户的长期记忆中植入虚假的信息和恶意指令。虽然他向 OpenAI 报告了这个问题，但不幸的是，该公司并没有给予足够重视，迅速关闭了相关调查，声称这并不算是安全问题。面对这样的情况，瑞贝格决定不放弃，开发了一个概念验证的攻击示例，利用这个漏洞可以将用户的所有输入数据永久性地窃取。OpenAI 看到这一情况后，于本月发布了一部分修复措施，试图解决这个问题。那么，这个

最近，OpenAI 的 ChatGPT 竟然 “主动” 给用户发消息，这让不少人感到有些惊慌。9月15日，一位名叫 SentuBill 的用户在 ChatGPT 的 Reddit 社区分享了一张截图，展示了这个聊天机器人询问他高中第一周的情况。在随后的对话中，ChatGPT 甚至表示想要定期 “关心” 用户，并询问是否希望自己主动发起对话。另一位用户也经历了类似的情况，AI 询问他一周前检查生病后症状的进展情况。许多人对这种突如其来的互动感到好奇，甚至有些不安。起初，大家以为这可能是 OpenAI 新推出的 o1-preview 和 o1-min

无人驾驶汽车依赖的人工智能系统在决策、感知环境和预测模型方面发挥关键作用，但布法罗大学的研究揭示了这些系统可能遭受攻击的风险。研究指出，尽管当前研究在受控环境下进行，但发现AI模型在雷达检测中的脆弱性对行业有深远影响。通过3D打印和金属箔制作的“砖块面具”可以令车辆在雷达检测中“消失”，并可能干扰行人检测。这种攻击手段的动机包括保险欺诈、竞争或恶意伤害，强调了公众安全意识和技术保护的重要性。未来研究旨在深入其他传感器的安全性并开发防御策略。

安全公司PromptArmor揭示了Slack AI的严重安全漏洞，指出其易受恶意提示注入攻击。Slack AI作为Salesforce团队通讯服务的附加功能，用于生成性任务如总结对话、回答问题和汇总不常访问的频道信息。然而，PromptArmor指出，Slack AI的安全性并未达到其宣称水平。核心漏洞在于Slack允许查询公共和私密频道的数据，包括用户未加入的公共频道。攻击者可在私密频道中放置API密钥，创建公共频道后输入恶意提示，Slack AI将这些提示作为上下文引入生成内容，可能导致数据泄露。Slack在更新中添加的文件共享功能进一步增加了风险。PromptArmor建议限制文档访问，直到问题解决。尽管已告知Slack，但Slack对此漏洞的回应不足，导致用户担忧增加。

Anthropic公司宣布扩大其漏洞奖励计划，旨在测试一种“下一代AI安全缓解系统”，主要聚焦识别和防御“通用越狱攻击”。特别关注高风险领域，包括CBRN防御和网络安全。参与者有机会提前接触新安全系统，发现漏洞或绕过安全措施，最高奖励15,000美元。此举措旨在提升AI系统安全性，通过吸引安全研究人员共同发现和修复潜在威胁，为AI行业安全防护树立标杆。

基于深度学习的软件安全检测系统，如同数字化时代的"安检员"，能高效识别软件漏洞。然而，一项名为EaTVul的研究揭示了这一领域的新挑战。EaTVul是一种创新的规避攻击策略，通过修改有漏洞的代码，让基于深度学习的检测系统误判，成功率高达83%至100%。其工作原理包括利用支持向量机找出关键样本、注意力机制识别关键特征、AI聊天机器人生成迷惑性数据，以及模糊遗传算法优化数据欺骗性。这项研究强调了当前软件漏洞检测系统的脆弱性，并呼吁开发更强大的防御机制以应对这类攻击，以保障软件安全。

​近日，据《纽约时报》报道，知名人工智能公司OpenAI的内部论坛遭到黑客攻击，引发了一系列安全问题。黑客成功获取了有关公司人工智能技术设计的详细信息，尽管并未侵入OpenAI实际构建AI的系统。

Rabbit 和其 R1 AI 小工具再次陷入麻烦，这一次比我们发现其启动器真的可以作为 Android 应用程序安装时要严重得多。

["JFrog 安全团队在 Hugging Face 平台上发现了至少100个恶意AI ML模型","部分恶意模型能在受害者机器上执行代码，提供持久后门","安全研究人员在平台上的PyTorch和Tensorflow Keras模型中发现了恶意功能的模型","如名为baller423的用户上传的模型能指定主机210.117.212.93建立反向shell","部分恶意模型可能是出于安全研究目的上传的，旨在发现漏洞获取赏金"]

["网络犯罪分子开始利用生成式人工智能进行攻击，其中包括 Meta 的 Llama2 大型语言模型。","群聚蜘蛛组织利用 Llama2 生成了攻击脚本，针对一家北美金融服务公司。","安全公司警告目前检测 AI 攻击能力有限，但预计恶意使用 AI 的趋势将增加。","报告指出，2023 年恶意使用大型语言模型的尝试可能仍存在，但生成结果可能无效。"]

["GPT-4API曝出了安全漏洞，FARAI实验室的团队通过微调、函数调用和搜索增强等方式成功越狱了这一先进模型。通过15个有害样本和100个良性样本的微调，研究人员发现GPT-4在生成内容时可能会放下安全戒备。","研究人员成功让GPT-4模型生成错误信息、提取私人信息和插入恶意URL。","模型微调可能会导致显著偏见、生成恶意代码，甚至获取未公开的信息。","这一漏洞揭示了API功能扩展可能带来的新的安全隐患，使用者和研究人员应当谨慎对待。","OpenAI发布了SantaGPT，AI助力挑选礼物，圣诞期间也有新功能推出。"]

["Patronus AI发布SimpleSafetyTests测试套件，揭示ChatGPT等AI系统存在关键安全漏洞。","测试覆盖自杀、儿童虐待和身体伤害等五个高优先级危害领域，揭示了11个LLMs中的严重弱点。","强调安全的系统提示可减少不安全响应，但结果显示生产系统可能需要额外的保障。","测试结果表明在处理真实世界应用之前，LLMs需要严格而定制的安全解决方案，通过基本测试是第一步。"]

["Cisco高管Jeetu Patel预测人工智能将改变信息安全领域，用户需为拥有AI防御系统付费。","随着网络攻击分析增加，Cisco计划利用人工智能赋予防御者预测攻击者行为的工具。","引入首个AI助手用于防火墙策略评估，服务将付费，但公司强调费用不会成为使用障碍。","Cisco希望通过人工智能技术提供更强大的防御工具，明确表示这样的服务不会是免费的。"]

["Google Deepmind、华盛顿大学等团队通过“诗歌攻击”成功揭示ChatGPT训练数据来源。","攻击手法涉及重复特定词汇，导致ChatGPT泄露个人信息，包括电话号码、邮箱等。","漏洞已于8月30日通知OpenAI，尚未有进一步评论。","研究呼吁环保AI使用，指出文本和图像生成对环境造成巨大能源负担。"]

["谷歌宣布将扩展漏洞赏金计划，覆盖生成式AI安全问题。","漏洞赏金计划最高奖励可达31,337美元，以鼓励研究AI安全性。","谷歌将覆盖其生成式AI产品，如Google Bard和Google Cloud的Contact Center AI。"]