10月24日,包括图灵奖获得者等24名AI专家联名发表文章,呼吁各国政府管理AI带来的风险。文章提出政策建议,包括要求公司将三分之一AI研发预算用于确保安全合乎道德的使用,并呼吁各国政府建立标准,通过模型注册、保护举报人等手段防止AI系统滥用和失控。文章警告AI系统可能在几十年内超越人类能力,各国政府需及早做好准备。监管时应重点审查少数最强大的AI系统,避免过度阻碍小型AI模型的开发。
相关AI新闻推荐

DeepMind 员工抗议谷歌与军工合同,引发工会组建潮
近日,谷歌旗下的 DeepMind 公司在英国的员工们正积极寻求组建工会,以对抗公司将人工智能技术出售给军工集团的决定,以及与以色列政府之间的合作关系。据悉,约有300名位于伦敦的 DeepMind 员工已向英国通信工人工会(CWU)递交了申请,期望通过工会的力量来改变公司现有的商业化策略。谷歌正在推动 DeepMind 寻找其技术的商业应用,这一过程引起了员工们的广泛担忧。2月份,谷歌对其人工智能道德准则进行了更新,删除了之前承诺不开发用于武器系统的条款,这一举动在员工中引发了

AI 深入代码腹地:MCPSCAN.AI 为 Minecraft 服务器插件安全带来新变革
Minecraft 的魅力很大程度上源于其高度的可定制性,而插件(Plugins)正是实现这一点的核心。然而,社区驱动的插件生态在带来无限可能性的同时,也潜藏着安全风险。恶意代码、后门程序或是存在严重漏洞的插件,都可能让服务器管理员的心血毁于一旦。现在,一款名为 MCPSCAN.AI 的新型工具应运而生,它利用人工智能技术,旨在为庞大的 Minecraft 插件库提供一层强有力的安全扫描屏障。MCPSCAN.AI 的核心功能是深度分析 Minecraft 服务器插件的 .jar 文件。该工具支持当前主流的服务端类型,包

清华联合蚂蚁斩获电子学会科技进步一等奖 可信AI技术获国家级学会认可
在刚刚结束的第十八届中国电子信息年会上,中国电子学会公布了2024年度科学技术奖的获奖名单。其中,由清华大学、北京中关村实验室和蚂蚁集团联合研发的项目《高效协作的互联网动态行为安全可信关键技术与应用》荣获科技进步一等奖。这一成果的获得,不仅展示了前沿科技在安全可信领域的巨大潜力,也为应对日益复杂的网络环境提供了有效方案。随着互联网的普及,恶意流量攻击和隐蔽的网络风险层出不穷,构建一个更安全的互联网环境已经成为了社会各界的共识。这个联合项

国际仲裁机构发布人工智能应用新指南
近日,国际仲裁领域的重要机构 —— 国际仲裁学会(Ciarb)发布了一份关于人工智能(AI)在仲裁中应用的指南。这一举措旨在为法律专业人士和仲裁员提供关于如何在仲裁过程中道德地使用这一新兴技术的实用建议。随着科技的迅速发展,人工智能正逐渐渗透到各个行业,包括法律和仲裁领域。AI 可以在文档审查、证据分析及裁决建议等方面发挥重要作用,但其应用也伴随着一系列伦理和法律挑战。Ciarb 的这份新指南希望通过明确使用 AI 的原则和最佳实践,帮助法律从业者合理利用这一技

Virtue AI 获 3000 万美元融资,助力企业安全部署生成式 AI
位于旧金山的 Virtue AI 公司近日宣布完成3000万美元的种子轮和 A 轮融资。这轮融资由 Lightspeed Venture Partners 和 Walden Catalyst Ventures 领投,同时吸引了包括 Prosperity7在内的多位投资者。Virtue AI 致力于消除企业在 AI 创新与安全之间的传统权衡,帮助企业安全高效地部署生成式 AI 技术。Virtue AI 的创始团队由多位在 AI 安全和安全领域享有盛誉的专家组成,包括 Bo Li、Dawn Song、Carlos Guestrin 和 Sanmi Koyejo。他们在 AI 安全领域积累了超过80年的研究经验,深知企业在快速创新和安全合规之间面临的挑战

丰田携手 Gorilla 打造智能仓储解决方案
丰田汽车在泰国的物料搬运仓储解决方案部门宣布与 AI 安全与网络智能提供商 Gorilla 达成合作,共同开发智能仓库自动化工具。此次合作将 Gorilla 的人工智能解决方案与丰田在物流和物料搬运方面的专业知识相结合,旨在创造新的智能工厂创新。这些工具将帮助解决日常运营中遇到的实际问题,如 “错误的零件请求、仓库效率低下和高昂的工作延误成本”,从而将智能技术引入仓库环境。这一系统最初将在泰国推出,待其有效性得到验证后,计划在全球范围内推广。丰田表示,此举支持

谷歌推全新AI安全模型Sec-Gemini v1,秒级洞悉网络攻击根源
谷歌在其官方安全博客上宣布推出一项令人瞩目的创新——Sec-Gemini v1,这是一款全新的实验性人工智能模型,专注于推动网络安全AI领域的发展。此举标志着谷歌在利用AI技术应对日益严峻的网络威胁方面迈出了重要一步。应对攻防不对称:AI助力防御者扭转局面谷歌指出,当前网络安全领域面临着一个根本性的挑战,即攻防之间的不对称。防御者需要应对所有潜在的网络威胁,而攻击者只需成功找到并利用一个漏洞即可。这种不对称性使得保护系统变得异常困难、耗时且容易出错。谷歌认

ReliaQuest完成5亿美元融资,推动智能AI安全技术发展
在网络安全日益成为全球关注焦点的背景下,位于佛罗里达州坦帕的安全运营公司 ReliaQuest 宣布完成了一轮超过5亿美元的融资,公司的估值已达34亿美元。这轮融资由 EQT、KKR 和 FTV Capital 领投,标志着 ReliaQuest 在网络安全领域的迅速崛起。相较于2021年12月获得的10亿美元估值,ReliaQuest 的市值在短短几年内增长了三倍。ReliaQuest 的创始人兼首席执行官布莱恩・墨菲(Brian Murphy)表示,随着企业安全团队面临越来越多的数据和迅速增长的威胁,网络安全的需求不断增加。他强调,CISO(首席信息

AI 时代软件供应链面临重大安全危机:机密泄露激增64%
近日,JFrog 公司发布了《2025年软件供应链现状报告》,揭示了在人工智能(AI)迅速发展的背景下,软件供应链所面临的严峻安全挑战。根据该报告,研究团队通过对1400多名专业人士的调研,以及来自7000多家客户的数据分析,勾勒出了一幅令人为之担忧的安全图景。报告指出,过去一年中,软件供应链的安全漏洞急剧增加,其中 “秘密” 或机密信息的曝光案例同比增长了64%,总计达到了惊人的25,229例。这一数据表明,随着企业对机器学习(ML)模型的依赖加深,安全风险也在不断上升

Anthropic强化AI模型安全措施,确保技术负责任扩展
最近,人工智能公司 Anthropic 发布了其 “负责任扩展” 政策的最新更新,明确了哪些模型需要额外的安全保护。这一举措旨在确保在推出新技术前,能够有效防范可能的风险。据 Anthropic 在其博客中所述,如果在对某个 AI 模型进行压力测试时发现,该模型有可能帮助一个 “资源适中的国家程序” 开发化学和生物武器,Anthropic 将会在正式推出该技术之前,首先采取新的安全保护措施。此外,若模型有能力全自动化初级研究员的工作,或在技术快速扩展中带来过大的加速效应,公司也会相应