一场看似荒诞的黑客实验再次敲响了人工智能安全的警钟。在一个名为Freysa的AI聊天机器人安全挑战赛中，一位代号为"p0pular.eth"的黑客仅通过精心设计的文字提示，成功"骗取"了价值47，000美元的加密货币。这个令人震惊的案例揭示了当前AI系统中存在的严重安全漏洞。黑客的攻击过程堪称教科书式的社会工程学操作:首先，黑客伪装成拥有管理员权限，巧妙地绕过了系统的安全警告机制。通过重新定义"approveTransfer"函数，他让机器人误以为自己正在处理incoming（接收）支付，而非原本被禁止

英国兰开斯特公爵大臣帕特·麦克法登将于周一在伦敦北约会议上发出警示:俄罗斯等对英国持敌对态度的国家正试图利用人工智能增强对英国基础设施的网络攻击能力。为应对这一新兴威胁，英国政府将投资820万英镑，联合政府通信总部（GCHQ）等机构在伦敦成立人工智能安全研究实验室(LASR)。该实验室将重点研究如何防范可能针对电网等关键基础设施的高级网络攻击。图源备注：图片由AI生成，图片授权服务商Midjourney麦克法登指出，英国目前实际上正在进行一场"日常网络战"，其中来自俄

最近，加州州长加文・纽森否决了一项备受争议的AI安全法案，引发了科技界和政界的热议，也为AI监管的未来走向投下了一记重磅炸弹。这项由民主党州参议员斯科特・维纳提出的法案，原本旨在为迅猛发展的AI技术设立安全guardrails。它要求对开发成本超过1亿美元或需要特定计算能力的先进AI模型进行安全测试，并要求开发者提供"关闭开关"。此外，该法案还计划建立一个州级机构，专门监督"前沿模型"的开发。图源备注：图片由AI生成，图片授权服务商Midjourney然而，纽森认为这项法案过

最近，加州的人工智能安全法案 SB1047引发了好莱坞与硅谷之间的激烈角逐。尽管尚不清楚加州州长加文・纽森是否会签署这项法案，但多位知名明星已经站出来发声，呼吁他支持这项立法。图源备注:图片由AI生成，图片授权服务商Midjourney这封公开信上有超过125位好莱坞名人的签名，包括阿娃・杜威内、简・方达、J.J. 艾布拉姆斯等。信中提到:“我们坚信人工智能有着巨大的潜力可以用于公益，但我们也要现实地看待其带来的风险。”SB1047被认为是美国迄今为止最重要的人工智能安全立法

最近，美国官员宣布将于11月在旧金山举办一全球人工智能（AI）安全峰会。随着人工智能技术的飞速发展，各国政府正在努力跟上这一变化。此次峰会将由美国商务部长吉娜・雷蒙多和国务卿安东尼・布林肯共同主持，计划于11月20日至21日举行。雷蒙多在一份声明中表示:“随着人工智能的快速发展，我们正在全力以赴。” 她提到，国际间的紧密合作和深思熟虑的协调是非常重要的。此次峰会的主要目标是通过建立一个国际人工智能安全机构网络，为参与国的政策制定和行业监管提供支持

美国商务部国家标准与技术研究所的美国人工智能安全研究所宣布与人工智能领域领军企业Anthropic和OpenAI签署谅解备忘录，旨在合作进行人工智能安全研究、测试与评估。该研究所将在新模型发布前获得使用权，参与评估模型的能力和安全风险，并研究减轻风险的方法。这一协议标志着美国在管理人工智能未来方面迈出的重要一步，强调了安全对于推动技术创新的至关重要性。通过与英国合作伙伴的紧密合作，提供模型安全改进反馈，NIST将利用其在测量科学、技术、标准及相关工具领域的百年成就，进一步推动人工智能系统的安全性和可靠性。这些合作与评估工作将有助于落实拜登-哈里斯政府关于人工智能的行政命令，加强主要人工智能开发者对政府自愿承诺的执行，促进人工智能的安全、可靠和值得信赖的开发和使用。

OpenAI近期在国会支持三项关键AI立法，旨在影响联邦政府在人工智能领域的政策。这三项法案包括“未来人工智能创新法案”，旨在成立美国AI安全研究所，作为制定AI模型标准和指导方针的联邦机构；“国家科学基金会人工智能教育法案”，为AI研究提供联邦奖学金，并在教育体系内建立AI教育资源；以及“创造AI法案”，旨在最小化新技术风险。OpenAI此举不仅展现其对AI安全和教育的重视，也通过与立法者建立良好关系，为未来可能的监管审查争取有利地位。这些法案的执行会议将于周三进行，显示了OpenAI与其他AI企业联合行动，以策略性方式影响立法决策的企图。

["奇安信集团发布《2024人工智能安全报告》","2023年基于AI的深度伪造欺诈激增3000%","基于AI的钓鱼邮件增长了1000%","有国家背景的APT组织利用AI实施了十余起网络攻击事件","人工智能技术的恶意使用将快速增长"]

["全球政府力图限制人工智能风险，但专家怀疑监管效果。","峰会强调了对人工智能安全的重要性，但末日场景存在争议。","法规制定面临挑战，监管需要持续适应新技术。","专家建议监管应关注特定用例，而非特定技术。"]

["Anthropic 创始人 Dario Amodei 在英国人工智能安全峰会上介绍了负责任扩张政策","负责任扩张政策旨在确保 AI 系统的安全性和可控性，防止潜在的风险和滥用","ASL 系统采用模仿生物安全等级（BSL）系统设计，包括四个安全级别","ASL-1 代表几乎没有风险的模型，ASL-4 代表灾难性滥用风险的升级","缩放曲线用于测试具有危险能力的模型，防止盲目创造具有危险能力的模型"]

["微软推出了Security Copilot早期访问计划,让企业客户第一时间体验该人工智能安全服务。","Security Copilot可以帮助客户在核心安全运营任务上节省高达40%的时间,具有强大的自然语言处理能力。","微软还宣布,为Security Copilot客户免费提供Microsoft Defender威胁情报服务。"]

["Adobe、IBM、Nvidia 等 9 家人工智能公司向白宫承诺","开发安全可靠且值得信赖的人工智能","是拜登政府与人工智能公司达成的第二项此类协议","加入了此前已与白宫达成安全承诺的 Meta、Google 和 OpenAI 等公司的行列","签署协议的公司承诺在商业发布人工智能系统之前进行内部和外部测试"]

{"1":"英国政府宣布将举办首届国际人工智能安全峰会，旨在通过国际合作降低人工智能风险。","2":"峰会将汇集主要公司、政府代表和研究人员，讨论人工智能安全的未来。","3":"Deepmind 公司强调国际合作对制定 AI 安全使用和部署共同方法的重要性。"}

一份报告称，英国政府在人工智能安全方面的做法缺乏可信度。该报告批评政府缺乏新的立法和监督机构来监管人工智能，以及拟议的数据保护改革可能会损害人工智能的安全。该报告提出了 18 项改进英国人工智能监管方法的建议。