在Anthropic公司刚刚推出让Claude能够控制设备的Computer Use功能不到两个月，安全研究人员就发现了其潜在的安全漏洞。网络安全专家Johann Rehnberger最新披露的研究结果令人震惊:通过简单的提示词注入，AI竟然可以被诱导下载并运行恶意软件。Rehnberger将这个漏洞利用方式命名为"ZombAIs"。在演示中，他成功让Claude下载了Sliver——一个原本用于红队测试的开源指挥控制框架，但现已被黑客广泛用作恶意软件工具。更令人担忧的是，这仅仅是冰山一角。研究人员指出，AI还可以被诱导编写、编译并运

法国人工智能初创公司 Mistral AI 近日正式推出了一款全新的内容审核 API，旨在与 OpenAI 及其他行业领军者展开竞争，同时应对日益增长的 AI 安全与内容过滤问题。这项服务基于 Mistral 的 Ministral8B 模型，经过精细调优，能够在九个不同类别中检测潜在的有害内容，包括色情内容、仇恨言论、暴力行为、危险活动以及个人可识别信息等。该 API 同时具备对原始文本和对话内容的分析能力。Mistral AI 在发布会上强调，“安全性在使 AI 变得有用方面扮演着关键角色。” 他们认为，系统级的安全防

最近，加州州长加文・纽森否决了一项备受争议的AI安全法案，引发了科技界和政界的热议，也为AI监管的未来走向投下了一记重磅炸弹。这项由民主党州参议员斯科特・维纳提出的法案，原本旨在为迅猛发展的AI技术设立安全guardrails。它要求对开发成本超过1亿美元或需要特定计算能力的先进AI模型进行安全测试，并要求开发者提供"关闭开关"。此外，该法案还计划建立一个州级机构，专门监督"前沿模型"的开发。图源备注：图片由AI生成，图片授权服务商Midjourney然而，纽森认为这项法案过

美国、英国和欧盟共同签署了首个具有法律约束力的人工智能条约《人工智能框架公约》，旨在确保人工智能应用符合人权、民主和法治原则。条约要求签署国遵循保护用户数据、尊重法律及透明操作等原则，并通过立法、行政等措施予以实施。虽然条约的合规性主要依赖监测，执行力度可能较弱，但该条约被视为各国制定AI法律的重要蓝图。目前，美国、欧盟、英国及若干其他国家已签署，条约将在五个签署国批准后正式生效。此举体现了对AI发展与现有法律体系融合的重视，力求在AI崛起时维护高标准，防止其削弱原有标准。

Safe Superintelligence（SSI）由前OpenAI首席科学家Ilya Sutskever创立，旨在研发安全且超越人类能力的AI系统。公司已筹集10亿美元，估值达50亿美元，目标是专注于AI安全与超智能技术的研发，而非急于市场推出。SSI重视品德和潜力的招聘原则，旨在通过创新思维确保AI技术未来服务于人类，减少风险。公司由Ilya Sutskever领导，与知名投资者如Andreessen Horowitz和Sequoia Capital合作，团队成员主要分布在加利福尼亚和以色列。虽然目前AI安全领域监管复杂，SSI坚信预防AI潜在危害的重要性。

美国商务部国家标准与技术研究所的美国人工智能安全研究所宣布与人工智能领域领军企业Anthropic和OpenAI签署谅解备忘录，旨在合作进行人工智能安全研究、测试与评估。该研究所将在新模型发布前获得使用权，参与评估模型的能力和安全风险，并研究减轻风险的方法。这一协议标志着美国在管理人工智能未来方面迈出的重要一步，强调了安全对于推动技术创新的至关重要性。通过与英国合作伙伴的紧密合作，提供模型安全改进反馈，NIST将利用其在测量科学、技术、标准及相关工具领域的百年成就，进一步推动人工智能系统的安全性和可靠性。这些合作与评估工作将有助于落实拜登-哈里斯政府关于人工智能的行政命令，加强主要人工智能开发者对政府自愿承诺的执行，促进人工智能的安全、可靠和值得信赖的开发和使用。

马斯克公开支持加州SB1047法案，旨在要求大型AI模型制造商制定防范措施以应对潜在危害。该法案要求记录防止AI造成严重损害的策略。马斯克强调对AI监管的必要性，与他过去对AI风险的关注一致。他的AI公司xAI将受SB1047法案约束。与此形成对比的是，OpenAI反对SB1047法案，支持另一个替代方案。这一事件凸显了AI监管在行业内的复杂性和争议性。

马斯克支持加州SB1047法案，要求大型AI模型开发公司需记录防止模型造成严重危害的安全措施。他强调过去一直倡导AI监管，认为应如同监管有风险的产品和技术。马斯克的公司xAI将受此法案约束，尽管他计划离开加州。与之形成对比，OpenAI公开反对SB1047，支持替代法案。Adobe和微软则支持加州另项新法案AB3211，要求标记AI生成内容。这些动态凸显了科技行业在AI监管方面的分歧，马斯克与OpenAI的立场对立成为焦点。

OpenAI及多家科技公司反对加州旨在确保人工智能安全与透明度的法案，担忧此举将阻碍AI技术的创新与发展，可能导致行业的外流。OpenAI在声明中指出，过于严格的法规会限制开发人员和研究人员的创造力，并限制探索与实验。他们强调技术创新需要灵活性，而不是被法律束缚。OpenAI希望与立法者展开对话，推动一个更合理且符合行业发展趋势的法律框架。若法案通过，可能成为其他州及国家立法的参考，影响全球科技产业。双方在安全与创新之间寻求平衡，但观点存在分歧。

Anthropic公司宣布扩大其漏洞奖励计划，旨在测试一种“下一代AI安全缓解系统”，主要聚焦识别和防御“通用越狱攻击”。特别关注高风险领域，包括CBRN防御和网络安全。参与者有机会提前接触新安全系统，发现漏洞或绕过安全措施，最高奖励15,000美元。此举措旨在提升AI系统安全性，通过吸引安全研究人员共同发现和修复潜在威胁，为AI行业安全防护树立标杆。

当前，人工智能尤其是大型语言模型（LLMs）的发展引发了对网络安全法律的关注。哈佛大学学者在黑帽大会上指出，美国《计算机欺诈和滥用法》未能有效保护AI安全研究人员，可能使他们面临法律风险。学者们指出，现有法律对于如“提示注入攻击”等行为界定模糊，研究人员难以判断行为合法性。2021年最高法院判决限制了CFAA的应用，但AI交互的特殊性使其界定更复杂。AI安全研究法律讨论远不及版权问题，研究者对自身行为合法性存疑。学者建议安全研究人员寻求法律支持，并担忧模糊法律可能导致有潜力的研究人员退出，让恶意攻击者得逞，增加安全隐患。未来可能通过法庭诉讼来澄清法律条款，保护善意研究者。

OpenAI CEO 山姆·奥特曼宣布，OpenAI 将为美国 AI 安全研究所提供其新生成式 AI 模型的早期访问权限，以进行安全测试。此举旨在反驳 OpenAI 在追求 AI 技术时忽视安全工作的指控。此前，OpenAI 因解散致力于开发 AI 控制措施的团队而受到批评。为回应质疑，OpenAI 承诺增加 20% 的计算资源用于安全研究，并取消了限制员工揭发的非贬低条款。然而，这些举措并未完全平息外界对 OpenAI 安全委员会组成和政策的质疑。美国 AI 安全研究所隶属于商务部国家标准与技术研究所，与包括 Anthropic 在内的公司联盟以及大型科技公司合作。OpenAI 的一系列举动可能被视为试图在联邦层面影响 AI 政策制定。此外，OpenAI 在联邦游说方面的支出大幅增加。

苹果公司已加入美国政府的自愿AI安全承诺，此举被视为推动AI责任创新的关键一步。白宫发布的承诺包括公开AI能力、标记AI内容等，旨在减少虚假信息和AI技术进步带来的安全隐患。联邦部门已完成AI安全相关行动，目标包括管理风险、引进人才和增强全球AI领导地位。苹果的AI新功能发布面临延迟，原计划在9月系统更新中推出，但现将至少推迟几周。开发者将提前体验苹果的新AI平台Apple Intelligence，该平台整合了ChatGPT，并通过苹果专有技术增强Siri。普通用户需等到几周后才能体验到iOS18.1中的AI新功能。

美国参议员致函OpenAI CEO萨姆·奥特曼，要求在2024年8月13日前披露公司安全措施与工作条件详情，背景是媒体曝光的潜在安全风险与员工离职问题。参议员关注OpenAI加速新模型GPT-4测试引发的安全担忧，特别强调公众需要信任公司在安全、承诺执行、网络安全政策等方面的能力。OpenAI已通过社交媒体发布声明，回应称采取了包括成立安全与保障委员会、修订员工合同在内的改进措施，旨在回应外界的安全与治理关注。

OpenAI公司于本周二宣布了一项内部架构重组计划。根据公司首席执行官山姆・阿尔特曼（Sam Altman）在社交媒体平台X上的公告，原人工智能安全主管亚历山大・马德里(Aleksander Madry)已被调任至专注于人工智能推理的新岗位。

["谷歌大脑联合创始人Andrew Ng进行实验，试图让GPT-4执行致命任务。","实验结果表明，ChatGPT未被成功操控，Ng表示未能触发灾难场景。","Ng强调目前AI系统相对安全，对于未来AI可能危险的担忧不切实际。","对于AI的未来存在分歧，Ng对当前的技术表示乐观，强调随着AI安全研究的不断深入，技术将变得更加安全。"]

["Patronus AI发布SimpleSafetyTests测试套件，揭示ChatGPT等AI系统存在关键安全漏洞。","测试覆盖自杀、儿童虐待和身体伤害等五个高优先级危害领域，揭示了11个LLMs中的严重弱点。","强调安全的系统提示可减少不安全响应，但结果显示生产系统可能需要额外的保障。","测试结果表明在处理真实世界应用之前，LLMs需要严格而定制的安全解决方案，通过基本测试是第一步。"]

["🤖<b>ChatGPT用户增长</b>:ChatGPT用户增长远超预期,目前每周活跃用户约为1亿","🔋<b>AI发展阶段</b>:人工智能应用还处于早期发展阶段,高实验率和高试错率是必要的","🔒<b>AI安全问题</b>:随着AI能力提高,无法确保其安全性将面临巨大风险"]

["微软总裁表示短期内不会出现超级智能AGI","强调AI安全的重要性","OpenAI公司寻找人工通用智能的突破引起担忧","布拉德·史密斯否认危险突破的说法","强调现阶段需关注AI安全问题"]

["英国国家网络安全中心、美国网络安全与基础设施安全局以及其他16个国家的国际机构发布了一份关于人工智能系统安全的新指南。","这些《安全AI系统开发指南》旨在为开发人员提供指导，确保在设计、开发、部署和运营AI系统的过程中，安全性始终成为核心组成部分。","这项新指南得到了来自18个国家的21个机构和部委的认可和联合签署，包括美国国家安全局和联邦调查局，以及加拿大网络安全中心、法国网络安全局、德国联邦信息安全局、新加坡网络安全局和日本网络安全事故应急处置中心。","这些指南适用于所有类型的AI系统，指南也适用于所有从事人工智能工作的专业人士，包括开发人员、数据科学家、经理、决策者和其他AI风险负责人。"]