最近,AI界多位大佬在线上展开激烈讨论,围绕人工智能可能存在的风险、是否需要监管等问题针锋相对。以吴恩达和Hinton为代表的两派人分别表达了不同观点。吴恩达等人主张开放创新,认为过度监管会扼杀创新;Hinton等人则提出AI潜在风险,需要谨慎对待。此事引发广泛关注,凸显AI监管问题的复杂性,需要在技术进步和社会风险之间找到平衡。
最近,AI界多位大佬在线上展开激烈讨论,围绕人工智能可能存在的风险、是否需要监管等问题针锋相对。以吴恩达和Hinton为代表的两派人分别表达了不同观点。吴恩达等人主张开放创新,认为过度监管会扼杀创新;Hinton等人则提出AI潜在风险,需要谨慎对待。此事引发广泛关注,凸显AI监管问题的复杂性,需要在技术进步和社会风险之间找到平衡。
在Anthropic公司刚刚推出让Claude能够控制设备的Computer Use功能不到两个月,安全研究人员就发现了其潜在的安全漏洞。网络安全专家Johann Rehnberger最新披露的研究结果令人震惊:通过简单的提示词注入,AI竟然可以被诱导下载并运行恶意软件。Rehnberger将这个漏洞利用方式命名为"ZombAIs"。在演示中,他成功让Claude下载了Sliver——一个原本用于红队测试的开源指挥控制框架,但现已被黑客广泛用作恶意软件工具。更令人担忧的是,这仅仅是冰山一角。研究人员指出,AI还可以被诱导编写、编译并运
在人工智能技术飞速发展的今天,美国的AI监管正处于一个极其混沌的时代。特朗普政府即将上台,其对科技监管的"放任自流"态度,正在推动一场极具戏剧性的监管博弈。当前,美国AI监管呈现出一幅支离破碎的拼图:联邦层面缺乏统一政策,各州自行其是,有些地区甚至完全没有明确规则。这种监管真空,正在为科技巨头们创造一个充满未知和风险的竞技场。特朗普团队正考虑任命一位"AI沙皇",试图在白宫层面协调人工智能的政策和政府应用。然而,这一举动更像是一剂安抚剂,究竟能
法国人工智能初创公司 Mistral AI 近日正式推出了一款全新的内容审核 API,旨在与 OpenAI 及其他行业领军者展开竞争,同时应对日益增长的 AI 安全与内容过滤问题。这项服务基于 Mistral 的 Ministral8B 模型,经过精细调优,能够在九个不同类别中检测潜在的有害内容,包括色情内容、仇恨言论、暴力行为、危险活动以及个人可识别信息等。该 API 同时具备对原始文本和对话内容的分析能力。Mistral AI 在发布会上强调,“安全性在使 AI 变得有用方面扮演着关键角色。” 他们认为,系统级的安全防
由英特尔前AI软件总经理Scott Clark创立的Distributional公司最近完成了1900万美元的A轮融资,由Two Sigma Ventures领投。Clark在接受TechCrunch采访时表示,Distributional的灵感源于他在英特尔应用AI时遇到的测试问题,以及他在Yelp担任广告定向部门软件主管时的工作经验。他强调:"随着AI应用价值的不断提升,其带来的运营风险也在增加。我们的平台能够帮助AI产品团队主动、持续地检测、理解和解决AI风险,防患于未然。"Clark通过收购加入英特尔。2020年,英特尔收购了由Clark共同创立的模型实验和管理平