谷歌于周三正式推出其人工智能编码助手 “Jules”，这一新产品标志着谷歌在自动化编程任务方面的重大进展。Jules基于最新的 Gemini2.0平台开发，能够在开发者休息时自主修复软件漏洞并准备代码更改。该系统能够与 GitHub 工作流程系统直接整合，分析复杂的代码库，实施跨多个文件的修复，并在无需持续人工监督的情况下生成详细的拉取请求。Jules的发布时机恰逢软件开发行业面临持续的人才短缺和技术债务的压力。市场研究公司 Gartner 预测，到2028年，AI 辅助编码将在75% 的新应用开发中

一场看似荒诞的黑客实验再次敲响了人工智能安全的警钟。在一个名为Freysa的AI聊天机器人安全挑战赛中，一位代号为"p0pular.eth"的黑客仅通过精心设计的文字提示，成功"骗取"了价值47，000美元的加密货币。这个令人震惊的案例揭示了当前AI系统中存在的严重安全漏洞。黑客的攻击过程堪称教科书式的社会工程学操作:首先，黑客伪装成拥有管理员权限，巧妙地绕过了系统的安全警告机制。通过重新定义"approveTransfer"函数，他让机器人误以为自己正在处理incoming（接收）支付，而非原本被禁止

近日，谷歌宣布其基于人工智能的模糊测试工具 OSS-Fuzz 成功发现了26个开源代码库中的漏洞，其中包括 OpenSSL 加密库中的一个中等严重性漏洞。谷歌的开源安全团队在一篇分享的博客文章中表示:“这些漏洞的发现标志着自动化漏洞检测的新里程碑:每个漏洞都是通过 AI 生成和增强的模糊测试目标找到的。”图源备注:图片由AI生成，图片授权服务商Midjourney此次发现的 OpenSSL 漏洞编号为 CVE-2024-9143（CVSS 评分为4.3），其表现为一个越界内存写入错误，可能导致应用程序崩溃或远程代码执行。该

谷歌近日宣布，其最新开发的 AI 模型 “Big Sleep” 成功在 SQLite 数据库中发现了一处内存安全漏洞。这一漏洞是一种可被利用的栈缓冲下溢问题，令该代码在正式发布前得以修复。Big Sleep 是谷歌 Project Zero 与 DeepMind 的合作成果，被视为早期 Project Naptime 的升级版。SQLite 作为一种开源数据库引擎，这一漏洞可能使攻击者通过恶意构造的数据库或 SQL 注入，导致 SQLite 执行崩溃或甚至实现任意代码执行。具体来说，问题源于一个魔法值 -1意外被用作数组索引，虽然代码中有 assert （） 来捕获这一

就在苹果即将推出其私人 AI 云服务 “私有云计算（Private Cloud Compute）” 之际，这家科技巨头决定向安全研究人员提供高达100万美元的奖励，旨在发现可能危害其云服务安全的漏洞。苹果在其安全博客上发布了一则消息，明确表示任何能够报告远程执行恶意代码的漏洞的研究人员，将有机会获得最高100万美元的奖金。图源备注：图片由AI生成，图片授权服务商Midjourney此外，苹果还为那些私下报告能够提取用户敏感信息或提交给私人云的提示的漏洞提供最高25万美元的奖励。他们特别提到，

最近，在意大利举行的 No Hat 安全会议上位于西雅的 Protect AI 公司宣布推出一款名为 Vulnhuntr 的开源工具。这款工具的目的很明确，就是通过 Anthropic 的 Claude AI 模型，来帮助开发者发现 Python 代码中的零日漏洞。 Vulnhuntr 的工作方式与传统的静态代码分析工具大相径庭。该工具并不是简单地将代码片段提交给 AI 分析，而是会自动找到那些可能处理远程用户输入的项目文件。随后，Claude AI 会针对这些潜在的漏洞进行深入分析。在这个过程中，Claude 会不断请求代码中的函数、类和变量，以完整

近日，一项由瑞士初创公司 LatticeFlow 开发的 AI 模型合规检查工具引起了广泛关注。该工具测试了多家大科技公司，包括 Meta 和 OpenAI，开发的生成性 AI 模型，结果显示，这些模型在网络安全和歧视性输出等关键领域存在明显不足。图源备注：图片由AI生成，图片授权服务商Midjourney自从2022年末 OpenAI 发布 ChatGPT 以来，欧盟对新的人工智能法规进行了长时间的讨论。由于 ChatGPT 的火爆以及公众对 AI 潜在风险的广泛讨论，立法者们开始着手制定针对 “通用人工智能”（GPAI）的具体规则。随着欧

白帽黑客Johann Rehberger近日揭露了一个令人震惊的安全漏洞，他发现ChatGPT可被黑客利用作为间谍软件，持续窃取用户数据。Rehberger将这种攻击方式命名为"SpAIware"，主要针对macOS版ChatGPT应用程序的新功能——长期记忆。这一漏洞利用了ChatGPT最近推出的持久记忆功能。通过精心构造的提示注入，黑客可以在ChatGPT的长期记忆中植入恶意命令，使其将用户的对话内容传送至远程服务器。更令人担忧的是，这种攻击甚至不需要直接访问用户账户，可通过编码在图像或网站中的有效载荷实现。图源备

最近，安全研究员约翰・瑞贝格（Johann Rehberger）发现了一个关于 ChatGPT 的漏洞，这个漏洞可能让黑客在用户的长期记忆中植入虚假的信息和恶意指令。虽然他向 OpenAI 报告了这个问题，但不幸的是，该公司并没有给予足够重视，迅速关闭了相关调查，声称这并不算是安全问题。面对这样的情况，瑞贝格决定不放弃，开发了一个概念验证的攻击示例，利用这个漏洞可以将用户的所有输入数据永久性地窃取。OpenAI 看到这一情况后，于本月发布了一部分修复措施，试图解决这个问题。那么，这个

最近，OpenAI 的 ChatGPT 竟然 “主动” 给用户发消息，这让不少人感到有些惊慌。9月15日，一位名叫 SentuBill 的用户在 ChatGPT 的 Reddit 社区分享了一张截图，展示了这个聊天机器人询问他高中第一周的情况。在随后的对话中，ChatGPT 甚至表示想要定期 “关心” 用户，并询问是否希望自己主动发起对话。另一位用户也经历了类似的情况，AI 询问他一周前检查生病后症状的进展情况。许多人对这种突如其来的互动感到好奇，甚至有些不安。起初，大家以为这可能是 OpenAI 新推出的 o1-preview 和 o1-min

无人驾驶汽车依赖的人工智能系统在决策、感知环境和预测模型方面发挥关键作用，但布法罗大学的研究揭示了这些系统可能遭受攻击的风险。研究指出，尽管当前研究在受控环境下进行，但发现AI模型在雷达检测中的脆弱性对行业有深远影响。通过3D打印和金属箔制作的“砖块面具”可以令车辆在雷达检测中“消失”，并可能干扰行人检测。这种攻击手段的动机包括保险欺诈、竞争或恶意伤害，强调了公众安全意识和技术保护的重要性。未来研究旨在深入其他传感器的安全性并开发防御策略。

安全公司PromptArmor揭示了Slack AI的严重安全漏洞，指出其易受恶意提示注入攻击。Slack AI作为Salesforce团队通讯服务的附加功能，用于生成性任务如总结对话、回答问题和汇总不常访问的频道信息。然而，PromptArmor指出，Slack AI的安全性并未达到其宣称水平。核心漏洞在于Slack允许查询公共和私密频道的数据，包括用户未加入的公共频道。攻击者可在私密频道中放置API密钥，创建公共频道后输入恶意提示，Slack AI将这些提示作为上下文引入生成内容，可能导致数据泄露。Slack在更新中添加的文件共享功能进一步增加了风险。PromptArmor建议限制文档访问，直到问题解决。尽管已告知Slack，但Slack对此漏洞的回应不足，导致用户担忧增加。

Anthropic公司宣布扩大其漏洞奖励计划，旨在测试一种“下一代AI安全缓解系统”，主要聚焦识别和防御“通用越狱攻击”。特别关注高风险领域，包括CBRN防御和网络安全。参与者有机会提前接触新安全系统，发现漏洞或绕过安全措施，最高奖励15,000美元。此举措旨在提升AI系统安全性，通过吸引安全研究人员共同发现和修复潜在威胁，为AI行业安全防护树立标杆。

基于深度学习的软件安全检测系统，如同数字化时代的"安检员"，能高效识别软件漏洞。然而，一项名为EaTVul的研究揭示了这一领域的新挑战。EaTVul是一种创新的规避攻击策略，通过修改有漏洞的代码，让基于深度学习的检测系统误判，成功率高达83%至100%。其工作原理包括利用支持向量机找出关键样本、注意力机制识别关键特征、AI聊天机器人生成迷惑性数据，以及模糊遗传算法优化数据欺骗性。这项研究强调了当前软件漏洞检测系统的脆弱性，并呼吁开发更强大的防御机制以应对这类攻击，以保障软件安全。

​近日，据《纽约时报》报道，知名人工智能公司OpenAI的内部论坛遭到黑客攻击，引发了一系列安全问题。黑客成功获取了有关公司人工智能技术设计的详细信息，尽管并未侵入OpenAI实际构建AI的系统。

Rabbit 和其 R1 AI 小工具再次陷入麻烦，这一次比我们发现其启动器真的可以作为 Android 应用程序安装时要严重得多。

["JFrog 安全团队在 Hugging Face 平台上发现了至少100个恶意AI ML模型","部分恶意模型能在受害者机器上执行代码，提供持久后门","安全研究人员在平台上的PyTorch和Tensorflow Keras模型中发现了恶意功能的模型","如名为baller423的用户上传的模型能指定主机210.117.212.93建立反向shell","部分恶意模型可能是出于安全研究目的上传的，旨在发现漏洞获取赏金"]

["网络犯罪分子开始利用生成式人工智能进行攻击，其中包括 Meta 的 Llama2 大型语言模型。","群聚蜘蛛组织利用 Llama2 生成了攻击脚本，针对一家北美金融服务公司。","安全公司警告目前检测 AI 攻击能力有限，但预计恶意使用 AI 的趋势将增加。","报告指出，2023 年恶意使用大型语言模型的尝试可能仍存在，但生成结果可能无效。"]

["GPT-4API曝出了安全漏洞，FARAI实验室的团队通过微调、函数调用和搜索增强等方式成功越狱了这一先进模型。通过15个有害样本和100个良性样本的微调，研究人员发现GPT-4在生成内容时可能会放下安全戒备。","研究人员成功让GPT-4模型生成错误信息、提取私人信息和插入恶意URL。","模型微调可能会导致显著偏见、生成恶意代码，甚至获取未公开的信息。","这一漏洞揭示了API功能扩展可能带来的新的安全隐患，使用者和研究人员应当谨慎对待。","OpenAI发布了SantaGPT，AI助力挑选礼物，圣诞期间也有新功能推出。"]

["Patronus AI发布SimpleSafetyTests测试套件，揭示ChatGPT等AI系统存在关键安全漏洞。","测试覆盖自杀、儿童虐待和身体伤害等五个高优先级危害领域，揭示了11个LLMs中的严重弱点。","强调安全的系统提示可减少不安全响应，但结果显示生产系统可能需要额外的保障。","测试结果表明在处理真实世界应用之前，LLMs需要严格而定制的安全解决方案，通过基本测试是第一步。"]