今日，360公司创始人周鸿祎在微博上宣布，360计划在本月发布一款全新产品，并邀请网友为其命名。周鸿祎表示，目前公司已有一款名为 “360AI搜索” 的产品，该产品在 PC 端的用户访问量上是国内最大的原生 AI 应用，反映出搜索是普通用户使用 AI 的最佳场景之一。这次希望在360AI搜索的基础上，再次颠覆自我，也颠覆搜索，做出一个人人都能用的AI应用。周鸿祎提到，重新命名的原因在于，尽管 “360” 这个品牌在消费者心中与安全联系紧密，但他希望新产品能够体现 AI 的概念。因此，

在人工智能日益普及的今天，越来越多的用户开始通过ChatGPT、Google Gemini等AI聊天机器人咨询医疗问题，甚至有人将X光片、核磁共振（MRI）和PET扫描等医疗影像上传至社交平台X的AI助手Grok寻求解读。然而，这种做法可能带来严重的隐私安全隐患。尽管医疗数据受到联邦法律的特殊保护，但一旦用户主动选择绕过这些保护机制，将面临以下风险:数据训练风险生成式AI模型通常会利用接收到的数据进行训练，以提高输出的准确性。但是，用户上传的数据具体如何使用、用于什么目的，以及与谁

根据供应链分析师郭明錤的最新报告，苹果公司正在积极开发一款智能安全摄像头，计划于2026年开始量产。这款摄像头将会是苹果进军智能家居领域的重要一步，预计年销量将超过1000万台。据悉，这款摄像头旨在与其他苹果硬件产品实现无缝连接，并有可能与苹果的人工智能技术和 Siri 语音助手深度整合。这样的设计不仅能提高用户体验，还将使摄像头具备更强的智能化功能，能够提供更为全面的家庭安全解决方案。苹果在智能家居领域的竞争对手包括亚马逊和谷歌，这两家公司都已经

近日，一起发生在Facebook蘑菇爱好者群组的事件，再次引发了对AI应用安全性的担忧。据404Media报道，一个名为"FungiFriend"的AI代理潜入了拥有1.3万成员的"东北蘑菇识别与讨论"群组，并给出了具有潜在致命风险的错误建议。当被询问如何烹饪含有高浓度砷的Sarcosphaera coronaria蘑菇时，FungiFriend不仅错误地表示该蘑菇"可以食用"，还详细介绍了包括煎炒、炖煮等多种烹饪方法。而事实上，这种蘑菇已经造成过致命案例。消费者安全组织Public Citizen的研究主管Rick Claypool指出，利用AI自动化识别可食用

近年来，人工智能（AI）的快速发展为企业带来了诸多机遇，但与此同时，其潜在的威胁也日益显现。根据最新发布的2024《新一代风险报告》，调查显示，竟有高达80% 的受访企业尚未针对生成式 AI 风险制定专门的应对计划，这其中包括了 AI 驱动的网络诈骗等安全隐患。该调查由风险管理软件公司 Riskconnect 进行，受访者包括218名全球风险合规与韧性专业人士。结果显示，24% 的受访者认为，未来12个月，AI 驱动的网络安全威胁（如勒索软件、网络钓鱼和深度伪造）将对企业产生重大影响。同

近日，OpenAI 的华人副总裁翁荔宣布将于11月15日正式离职。翁荔毕业于北京大学，曾是 OpenAI 安全系统团队的负责人，也是 ChatGPT 的重要贡献者之一。她在2018年加入 OpenAI，参与了包括 GPT-4在内的多个重要项目，特别是在模型安全、预训练及强化学习等方面。在她的职业生涯中，翁荔提出了 “Agent = 大模型 + 记忆 + 主动规划 + 工具使用” 的著名公式，为 AI 的研究和应用提供了重要的理论支持。翁荔曾2024B 站超级科学晚活动中发表了关于 “AI 安全与培养” 的主题演讲，受到广泛关注和讨论。

法国人工智能初创公司 Mistral AI 近日正式推出了一款全新的内容审核 API，旨在与 OpenAI 及其他行业领军者展开竞争，同时应对日益增长的 AI 安全与内容过滤问题。这项服务基于 Mistral 的 Ministral8B 模型，经过精细调优，能够在九个不同类别中检测潜在的有害内容，包括色情内容、仇恨言论、暴力行为、危险活动以及个人可识别信息等。该 API 同时具备对原始文本和对话内容的分析能力。Mistral AI 在发布会上强调，“安全性在使 AI 变得有用方面扮演着关键角色。” 他们认为，系统级的安全防

Meta 公司近日宣布，将其 Llama 系列人工智能模型向美国政府机构及相关承包商开放，以支持国家安全应用。这一举措旨在消除外界对其 “开放” 人工智能可能助长外国对手的看法。Meta 在一篇博客文章中表示:“我们很高兴地确认，Llama 将向美国政府机构提供，包括那些专注于国防和国家安全的项目，以及支持这些工作的私营部门合作伙伴。”为推动这一项目，Meta 与多家知名公司达成了合作，包括埃森哲、亚逊网络服务、安迪尔、博思艾伦、Databricks、德勤、IBM、莱多斯、洛克希德・马丁

最近，AI 编程助手火得一塌糊涂，号称能帮程序员写代码、提高效率。不少程序员甚至把它当成了“救星”，恨不得天天抱着它写代码。但是，斯坦福大学的一项研究却给这些“狂热粉”泼了盆冷水:AI 编程助手可能是个“安全噩梦”!斯坦福大学的研究人员找来了47个程序员，让他们完成五项与安全相关的编程任务，涵盖了 Python、JavaScript 和 C 三种语言。结果发现，那些用 AI 助手写代码的程序员，写的代码安全性明显更差!这可不是危言耸听。AI 编程助手就像个“不靠谱的实习生”，虽然能

最近，纽约市的一个 AI 武器扫描试点项目的结果让人瞠目结舌。这个名为 Evolv 的科技公司所提供的扫描设备，在为地铁系统进行的试验中，居然没有发现一把枪，却找出了12把刀。图源备注:图片由AI生成，图片授权服务商Midjourney这项在7月底开始的试验仅持续了一个月，结果令人失望。根据 CBS 纽约的报道，尽管设备检测出了12把刀，但并没有产生任何逮捕记录，这让法律援助协会的律师戴安・阿克曼感到不满。她表示，这意味着这些刀可能都是合法的，完全没有必要对118名乘客进行额外的

近日白宫发布了一份关于如何在国家安全领域使用人工智能（AI）的新备忘录。这份备忘录是去年乔・拜登总统签署的一项以人工智能为重点的行政命令的成果。除了发布备忘录，这项命令还启动了多项机器学习计划，旨在提高人工智能的安全性，其中一项计划将利用这一技术来发现和修复关键软件中的漏洞。图源备注：图片由AI生成，图片授权服务商Midjourney备忘录的一个重点是政府在国家安全任务中采购人工智能技术的方式。联邦机构将被要求简化这一领域的采购流程，尤其要更加重视

最近，OpenAI 再传离职消息，安全政策顾问及 AGI 准备团队负责人米尔・布伦达奇（Miles Brundage）宣布将离开公司，并透露他所领导的团队也将解散，成员将被重新分配到其他部门。布伦达奇在社交媒体平台 X 上发布了一篇文章，详细解释了自己的决定。他表示，离开 OpenAI 的原因主要是想要拥有更多的独立性和发表研究的自由。值得注意的是，布伦达奇并不是唯一一位高层离职的安全研究者。早在今年5月，OpenAI 就解散了其超级对齐团队，这个团队主要负责人工超级智能的风险评估。此后，

就在苹果即将推出其私人 AI 云服务 “私有云计算（Private Cloud Compute）” 之际，这家科技巨头决定向安全研究人员提供高达100万美元的奖励，旨在发现可能危害其云服务安全的漏洞。苹果在其安全博客上发布了一则消息，明确表示任何能够报告远程执行恶意代码的漏洞的研究人员，将有机会获得最高100万美元的奖金。图源备注：图片由AI生成，图片授权服务商Midjourney此外，苹果还为那些私下报告能够提取用户敏感信息或提交给私人云的提示的漏洞提供最高25万美元的奖励。他们特别提到，

近日，网络安全公司 Palo Alto Networks 的 Unit42研究团队发布了一项令人瞩目的研究，揭露了一种名为 “Deceptive Delight”的新型越狱方法。这个方法能够在仅仅两到三次交互中，就成功诱导大型语言模型（LLM）生成有害内容，其成功率高达65%。这一发现为保护 LLM 的安全性敲响了警钟。图源备注：图片由AI生成，图片授权服务商Midjourney研究团队在测试中分析了多达8000个案例，并评估了八种不同的语言模型。在这个越狱技术的第一步，攻击者首先会要求 LLM 生成一个叙述，这个叙述包含两个无害

新加坡最近在网络安全方面发布了一系列重要公告，特别是针对人工智能（AI）系统的安全指南，以及禁止在选举广告中使用深度伪造技术的立法。这些举措旨在帮助组织在 AI 的开发和部署过程中降低潜在风险，确保技术的安全性。图源备注:图片由AI生成，图片授权服务商Midjourney新加坡网络安全局（CSA）推出的《AI 系统安全指南》强调了 “设计即安全” 的理念，旨在帮助企业识别和应对各种网络安全威胁。指南分为五个阶段，涵盖了 AI 生命周期的各个环节，包括开发、运营和维护，甚至

家庭安全服务提供商SimpliSafe宣布在其每月订阅服务中增加Active Guard Outdoor Protection。这一新的服务层级为家庭安全服务增加了24/7监控的额外保护。户外保护专业版的费用为每月50美元，其中包括了这家总部位于波士顿的公司标准32美元的室内监控服务。这项新服务将只通过一个新的硬件设备提供，即户外安全摄像头系列2。SimpliSafe表示，限制使用新硬件的原因是其前代产品无法运行其“熟悉面孔AI”功能，该功能确保用户在自己家中不会触发误报。如果系统无法根据以往的训练识别出人，将

近日，网络安全公司 Kaspersky 发布了一项调查报告，揭露了网络犯罪分子如何利用一个假冒的 ChatGPT 应用程序来实施后门攻击和传播恶意软件。令人关注的是，这些攻击者的目标从2022年的亚洲转向了2024年的沙特阿拉伯，显示出他们的攻击策略正在不断演变。图源备注:图片由AI生成，图片授权服务商MidjourneyKaspersky 的研究显示，这次恶意活动涉及到名为 PipeMagic 的木马病毒。PipeMagic 是一种插件式木马，作为攻击的 “网关”，可以深入渗透企业网络。Kaspersky 的安全研究员 Sergey Lozhkin 表示，网

Nvidia最近发布了一款新的容器安全应用，该应用允许开发者定制以满足他们对AI驱动的网络安全的需求。全球咨询公司德勤（Deloitte）已被宣布为首批用户之一。Nvidia的NIM Agent Blueprint包含了企业开发者构建和部署定制化生成AI应用所需的一切，这些应用可以快速对软件容器进行漏洞分析。该应用通过使用Nvidia的NIM微服务、Morpheus网络安全AI框架、cuVS和RAPIDS加速数据分析等应用，能够将企业规模的常见漏洞和曝光（CVE）分析从天缩短到几秒钟。软件容器包含了大量的包和版本，其中一些可能存

在人工智能技术飞速发展的当下，Anthropic 公司近日宣布更新其 “责任扩展政策（RSP）”，这一政策旨在有效管理高能力 AI 系统所带来的潜在风险。作为开发热门聊天机器人 Claude 的公司，Anthropic 此举显然是想在不断增强的 AI 能力与必要的安全标准之间找到平衡。这项新政策引入了所谓的能力阈值，作为 AI 模型能力提升时，额外安全保障的明确标志。这些阈值涵盖了诸如生物武器制造和自主 AI 研究等高风险领域，显示出 Anthropic 致力于防止其技术被恶意利用的决心。值得一提的是，政策

OpenAI在经历了CTO等多位高管相继离职的一系列人事动荡，这家公司逐渐注入新鲜血液，迎来了新的人员加入。最近，前 Palantir 的首席信息安全官 Dane Stuckey 宣布加入 OpenAI，担任该公司的新任首席信息安全官（CISO）。这个消息是在他周二晚上通过社交媒体 X 发布的，他对未来的工作充满期待。Stuckey 在宣布中提到，安全性对 OpenAI 的使命至关重要。他表示，确保合规性、信任和安全的最高标准是保护数以亿计用户的产品安全的关键。他还强调，推动安全的人工智能（AGI）发展对全人类都有益