最近,全球首届AI安全峰会在英国布莱切利园成功举办,来自包括中美等28个国家的代表出席并签署了《布莱切利AI宣言》。该宣言呼吁AI科研机构和企业应以负责任的方式设计、开发和使用AI。宣言承认AI改善人类生活的巨大潜力,也警告AI发展可能造成的伤害,希望通过法规等手段规避风险。会议持续两天,多国政府代表、国际组织及科研机构、企业等积极参与,重点讨论AI技术带来的风险。中国等国家愿意加强在AI安全领域的国际合作与交流,共同建立全球治理共识框架。
最近,全球首届AI安全峰会在英国布莱切利园成功举办,来自包括中美等28个国家的代表出席并签署了《布莱切利AI宣言》。该宣言呼吁AI科研机构和企业应以负责任的方式设计、开发和使用AI。宣言承认AI改善人类生活的巨大潜力,也警告AI发展可能造成的伤害,希望通过法规等手段规避风险。会议持续两天,多国政府代表、国际组织及科研机构、企业等积极参与,重点讨论AI技术带来的风险。中国等国家愿意加强在AI安全领域的国际合作与交流,共同建立全球治理共识框架。
在Anthropic公司刚刚推出让Claude能够控制设备的Computer Use功能不到两个月,安全研究人员就发现了其潜在的安全漏洞。网络安全专家Johann Rehnberger最新披露的研究结果令人震惊:通过简单的提示词注入,AI竟然可以被诱导下载并运行恶意软件。Rehnberger将这个漏洞利用方式命名为"ZombAIs"。在演示中,他成功让Claude下载了Sliver——一个原本用于红队测试的开源指挥控制框架,但现已被黑客广泛用作恶意软件工具。更令人担忧的是,这仅仅是冰山一角。研究人员指出,AI还可以被诱导编写、编译并运
法国人工智能初创公司 Mistral AI 近日正式推出了一款全新的内容审核 API,旨在与 OpenAI 及其他行业领军者展开竞争,同时应对日益增长的 AI 安全与内容过滤问题。这项服务基于 Mistral 的 Ministral8B 模型,经过精细调优,能够在九个不同类别中检测潜在的有害内容,包括色情内容、仇恨言论、暴力行为、危险活动以及个人可识别信息等。该 API 同时具备对原始文本和对话内容的分析能力。Mistral AI 在发布会上强调,“安全性在使 AI 变得有用方面扮演着关键角色。” 他们认为,系统级的安全防
最近,加州州长加文・纽森否决了一项备受争议的AI安全法案,引发了科技界和政界的热议,也为AI监管的未来走向投下了一记重磅炸弹。这项由民主党州参议员斯科特・维纳提出的法案,原本旨在为迅猛发展的AI技术设立安全guardrails。它要求对开发成本超过1亿美元或需要特定计算能力的先进AI模型进行安全测试,并要求开发者提供"关闭开关"。此外,该法案还计划建立一个州级机构,专门监督"前沿模型"的开发。图源备注:图片由AI生成,图片授权服务商Midjourney然而,纽森认为这项法案过
美国、英国和欧盟共同签署了首个具有法律约束力的人工智能条约《人工智能框架公约》,旨在确保人工智能应用符合人权、民主和法治原则。条约要求签署国遵循保护用户数据、尊重法律及透明操作等原则,并通过立法、行政等措施予以实施。虽然条约的合规性主要依赖监测,执行力度可能较弱,但该条约被视为各国制定AI法律的重要蓝图。目前,美国、欧盟、英国及若干其他国家已签署,条约将在五个签署国批准后正式生效。此举体现了对AI发展与现有法律体系融合的重视,力求在AI崛起时维护高标准,防止其削弱原有标准。