在Anthropic公司刚刚推出让Claude能够控制设备的Computer Use功能不到两个月,安全研究人员就发现了其潜在的安全漏洞。网络安全专家Johann Rehnberger最新披露的研究结果令人震惊:通过简单的提示词注入,AI竟然可以被诱导下载并运行恶意软件。Rehnberger将这个漏洞利用方式命名为"ZombAIs"。在演示中,他成功让Claude下载了Sliver——一个原本用于红队测试的开源指挥控制框架,但现已被黑客广泛用作恶意软件工具。更令人担忧的是,这仅仅是冰山一角。研究人员指出,AI还可以被诱导编写、编译并运
Swift Ventures今日发布了一项全新的人工智能公司指数,该指数为投资者提供了识别真正进行AI技术投资的上市公司与仅仅在财报电话会议上谈论AI的公司之间的区别。该风险投资公司通过微调大型语言模型,分析了数千份收入记录、招聘数据和研究贡献,发现尽管上个季度公司在财报中提及AI超过16,000次,但只有极少数公司真正进行了大规模投资。该指数目前追踪约90家公司,依据三个主要指标进行评分:人工智能研究和开源贡献的投资、人工智能人才密度,以及来自AI运营的收入。数据显示
近日,英国科技部长彼得・凯尔(Peter Kyle)承认,政府部门在使用人工智能(AI)和算法方面缺乏透明度,导致公众对这些技术的应用感到不安。自从政府宣布将强制要求所有部门登记使用 AI 系统以来,至今没有一个白厅部门完成这一登记。这引发了对公共部门在影响数百万生活的算法技术部署上的警告,称其在 “盲目” 行事。图源备注:图片由AI生成,图片授权服务商Midjourney目前,政府已在多个领域应用 AI,包括福利支付和移民执法等。根据记录,公共机构已经与多家科技公司签订了数十
法国人工智能初创公司 Mistral AI 近日正式推出了一款全新的内容审核 API,旨在与 OpenAI 及其他行业领军者展开竞争,同时应对日益增长的 AI 安全与内容过滤问题。这项服务基于 Mistral 的 Ministral8B 模型,经过精细调优,能够在九个不同类别中检测潜在的有害内容,包括色情内容、仇恨言论、暴力行为、危险活动以及个人可识别信息等。该 API 同时具备对原始文本和对话内容的分析能力。Mistral AI 在发布会上强调,“安全性在使 AI 变得有用方面扮演着关键角色。” 他们认为,系统级的安全防