最近的一项研究显示，63% 的全球安全领导者正在考虑禁止开发团队使用人工智能生成代码。这一现象引起了广泛的关注，尤其是在技术行业内。虽然人工智能的普及被认为可以帮助开发者处理一些琐碎的任务，但安全专家对此却心存疑虑。图源备注:图片由AI生成，图片授权服务商Midjourney根据 Venafi 的调查，92% 的决策者表示，他们对公司内部使用 AI 生成代码的情况感到担忧，主要原因是对输出质量的担心。他们认为，AI 模型可能是基于过时的开源库进行训练的，导致生成的代码质量不达标

最近，美国官员宣布将于11月在旧金山举办一全球人工智能（AI）安全峰会。随着人工智能技术的飞速发展，各国政府正在努力跟上这一变化。此次峰会将由美国商务部长吉娜・雷蒙多和国务卿安东尼・布林肯共同主持，计划于11月20日至21日举行。雷蒙多在一份声明中表示:“随着人工智能的快速发展，我们正在全力以赴。” 她提到，国际间的紧密合作和深思熟虑的协调是非常重要的。此次峰会的主要目标是通过建立一个国际人工智能安全机构网络，为参与国的政策制定和行业监管提供支持

最近，OpenAI 的 CEO 萨姆・阿尔特曼宣布他将退出公司内部的安全委员会，该委员会自今年五月成立，旨在监督 OpenAI 人工智能模型开发和部署的关键安全与安全决策。阿尔特曼的这一决定引起了广泛关注，他希望将这一角色交给第三方专家，以增强透明度、合作和安全性。随着阿尔特曼的离开，这个安全委员会将转变为一个 “立的监督委员会”，专注于安全和安全问题。新任委员会主席是来自卡内基梅隆大学计算机科学学院的机器学习部门主任齐科・科尔特。他接替了前任主席布雷特・泰

OPPO公司宣布其人工智能大模型AndesGPT-2.0在权威第三方评测机构SuperCLUE发布的《中文大模型基准评测2024年8月报告》中表现卓越，荣获多项第一，标志着OPPO在AI领域的技术实力进一步得到行业认可。

最近，美国商务部发布了一项提案，要求人工智能（AI）企业提供详细的报告，旨在对这一快速发展的技术领域进行更严格的监管。这项名为 “拟议规则” 的通知于9月9日发布，意在确保 AI 技术的安全性、可靠性，以及防范外国对手或非国家行为者的潜在滥用。图源备注:图片由AI生成，图片授权服务商Midjourney商务部长吉娜・雷蒙多在新闻发布会上表示，AI 的快速发展既蕴含巨大的机遇，也伴随风险。这项提案希望通过增加透明度来加强国家安全。根据新规，大型 AI 企业需要向联邦政府提

英国MI6局长理查德・摩尔与美国CIA局长比尔・伯恩斯首次联合发表文章，强调生成式人工智能在提升情报活动效率方面的作用。AI技术，包括大型语言模型，被用于信息快速总结、创意生成和数据筛选，特别是在处理互联网上庞大极端内容时，帮助情报人员更好地理解和沟通。情报机构正迅速采纳新兴技术以适应复杂的安全环境和保持有效隐秘性。科技挑战和其在现代冲突中的应用，如乌克兰战争中的卫星图像、无人机、网络战和社交媒体，显示了科技如何改变战争的走向。这些都表明情报界在利用新技术应对犯罪和极端行为方面的努力，同时面对国际秩序面临的前所未有的威胁。

美国、英国和欧盟共同签署了首个具有法律约束力的人工智能条约《人工智能框架公约》，旨在确保人工智能应用符合人权、民主和法治原则。条约要求签署国遵循保护用户数据、尊重法律及透明操作等原则，并通过立法、行政等措施予以实施。虽然条约的合规性主要依赖监测，执行力度可能较弱，但该条约被视为各国制定AI法律的重要蓝图。目前，美国、欧盟、英国及若干其他国家已签署，条约将在五个签署国批准后正式生效。此举体现了对AI发展与现有法律体系融合的重视，力求在AI崛起时维护高标准，防止其削弱原有标准。

Safe Superintelligence（SSI）由前OpenAI首席科学家Ilya Sutskever创立，旨在研发安全且超越人类能力的AI系统。公司已筹集10亿美元，估值达50亿美元，目标是专注于AI安全与超智能技术的研发，而非急于市场推出。SSI重视品德和潜力的招聘原则，旨在通过创新思维确保AI技术未来服务于人类，减少风险。公司由Ilya Sutskever领导，与知名投资者如Andreessen Horowitz和Sequoia Capital合作，团队成员主要分布在加利福尼亚和以色列。虽然目前AI安全领域监管复杂，SSI坚信预防AI潜在危害的重要性。

在2024年9月4日举行的第二届网络空间安全（天津）论坛上，360集团创始人周鸿祎发表了题为《打造安全大模型，用AI重塑安全》的演讲，分享了他对人工智能大模型时代下网络安全形势的见解，并介绍了360集团在该领域的实践和成果。

Highwire公司推出AI安全风险管理工具，通过自动化文档审查和风险识别，为承包商提供深入洞察，减少传统人工审查的数千小时工作量。该工具提供更准确的承包商评估，帮助管理者在工作开始前实施缓解策略，分类安全协议为一般、详细或全面，超越简单通过/失败分析，支持更明智决策。这项AI技术在哈佛大学开发，旨在为拥有成熟安全计划的大公司和小型承包商提供服务，目标是提高安全标准、促进合作，减少事故风险，适用于《美国工业医学杂志》研究中指出的与安全管理系统的增加相关联的事件降低比例。

《生成式人工智能行业自律倡议》在成都的2024年中国网络文明大会上发布，由中国网络空间安全协会人工智能安全治理专委会与行业、学术和研究单位共同发起。倡议聚焦五大核心内容：数据和算法模型安全合规，确保数据合法使用与安全；内容生态建设，鼓励生成积极内容，维护网络健康环境；技术创新与质量提升，推动技术进步和质量评估；伦理道德标准，尊重人权与社会价值观；交流合作与开放共建，促进行业合作与技术共享。这一倡议旨在应对生成式人工智能快速发展带来的风险与挑战，推动行业单位承担社会责任，促进社会合作，为人工智能产业的健康发展贡献力量。

韩国青少年利用深伪技术制作色情内容的问题引发了广泛关注，网络性犯罪激增，警方呼吁加强青少年教育与引导，提高网络安全和道德意识，以减少此类事件。Telegram上出现针对学校和师生的色情内容上传，涉及多起案件。今年前七个月，韩国报告的网络深伪相关案件数量显著增加，社会各界呼吁加强监管并进行法律教育。

人工智能公司Runway在HuggingFace平台上的内容被清空，引起行业内外广泛关注。HuggingFace作为机器学习模型和数据集的开源平台，其内容对研究和开发者至关重要。此事件在Twitter上引发热议，突显了平台在应对突发事件和保护用户权益上的挑战。Runway作为AI社区的重要参与者，其内容的消失影响了众多研究者，涉及数据安全、企业责任和用户信任等议题。随着人工智能技术的加速发展，数据安全和内容可持续性成为行业关注焦点。

OpenAI的变动引起了业界对人工智能安全问题的广泛关注。AGI安全团队规模大幅缩减，从约30人减少至16人左右，这引发了关于公司是否忽视AI安全性问题的担忧。离职并非有组织行动，而是团队成员个人信心的逐渐丧失。OpenAI前治理研究员Daniel Kokotajlo指出，团队的缩减似乎与公司更侧重于产品和商业化发展有关。面对外界的质疑，OpenAI强调其致力于提供最安全的人工智能系统，并相信有科学方法来解决风险。然而，今年早些时候，联合创始人Ilya Sutskever宣布辞职，其所领导的负责安全问题的“超级对齐”团队也随之解散，这一变动加剧了人们对OpenAI在安全性研究方面的担忧。

美国商务部国家标准与技术研究所的美国人工智能安全研究所宣布与人工智能领域领军企业Anthropic和OpenAI签署谅解备忘录，旨在合作进行人工智能安全研究、测试与评估。该研究所将在新模型发布前获得使用权，参与评估模型的能力和安全风险，并研究减轻风险的方法。这一协议标志着美国在管理人工智能未来方面迈出的重要一步，强调了安全对于推动技术创新的至关重要性。通过与英国合作伙伴的紧密合作，提供模型安全改进反馈，NIST将利用其在测量科学、技术、标准及相关工具领域的百年成就，进一步推动人工智能系统的安全性和可靠性。这些合作与评估工作将有助于落实拜登-哈里斯政府关于人工智能的行政命令，加强主要人工智能开发者对政府自愿承诺的执行，促进人工智能的安全、可靠和值得信赖的开发和使用。

加州立法者通过了旨在确保人工智能安全的SB1047法案，即将由州长加文・纽森签署。该法案要求训练成本超过1亿美元的AI模型在发布前进行安全测试，并在发生事故时设置紧急停止功能。法案还规定发生事故后72小时内向加州检察长报告，并设立“前沿模型局”监督合规性，违规者面临高额罚款。此举旨在预防AI滥用，保障安全，获得AI领域知名人士支持。然而，科技巨头对此反应不一，担忧法案可能抑制创新和导致人才流失，呼吁联邦层面制定法规。该法案如获通过，将成为美国首个同类AI监管法，对全球科技行业监管产生深远影响。

谷歌宣布重新启用AI聊天机器人Gemini的人物图像生成功能，旨在生成包括照片级逼真风景、纹理油画等在内的多样化内容。该功能由谷歌的AI文本转图像生成器Imagen3提供支持，目前仅支持英语，将在未来几天内向Gemini Advanced、Business和Enterprise用户开放。新升级的Imagen3模型性能更佳，且内置安全措施，优化以避免历史不准确问题，确保生成的图像准确、适当。Gemini的AI生成人物图像功能与谷歌新推出的Remagine功能有所不同，后者专用于在Pixel9手机系列拍摄的照片中融入AI元素。Gemini功能在内容安全方面设有严格限制，如不允许创建公众人物的逼真图像、涉及未成年人的内容或血腥、暴力和性爱场景。谷歌计划未来将AI生成人物图像的能力扩展到更多用户和语言版本，以满足全球用户需求，展示其在AI图像生成技术上的进步和对技术伦理与安全挑战的应对决心。

马斯克公开支持加州SB1047法案，旨在要求大型AI模型制造商制定防范措施以应对潜在危害。该法案要求记录防止AI造成严重损害的策略。马斯克强调对AI监管的必要性，与他过去对AI风险的关注一致。他的AI公司xAI将受SB1047法案约束。与此形成对比的是，OpenAI反对SB1047法案，支持另一个替代方案。这一事件凸显了AI监管在行业内的复杂性和争议性。

马斯克支持加州SB1047法案，要求大型AI模型开发公司需记录防止模型造成严重危害的安全措施。他强调过去一直倡导AI监管，认为应如同监管有风险的产品和技术。马斯克的公司xAI将受此法案约束，尽管他计划离开加州。与之形成对比，OpenAI公开反对SB1047，支持替代法案。Adobe和微软则支持加州另项新法案AB3211，要求标记AI生成内容。这些动态凸显了科技行业在AI监管方面的分歧，马斯克与OpenAI的立场对立成为焦点。

OpenAI及多家科技公司反对加州旨在确保人工智能安全与透明度的法案，担忧此举将阻碍AI技术的创新与发展，可能导致行业的外流。OpenAI在声明中指出，过于严格的法规会限制开发人员和研究人员的创造力，并限制探索与实验。他们强调技术创新需要灵活性，而不是被法律束缚。OpenAI希望与立法者展开对话，推动一个更合理且符合行业发展趋势的法律框架。若法案通过，可能成为其他州及国家立法的参考，影响全球科技产业。双方在安全与创新之间寻求平衡，但观点存在分歧。