自2021年以来，微软的 AI 安全团队对100多种生成式 AI 产品进行了测试，以寻找薄弱环节和道德问题。他们的发现挑战了一些关于 AI 安全的常见假设，并强调了人类专业知识的持续重要性。事实证明，最有效的攻击并不总是最复杂的攻击。微软报告中引用的一项研究指出:“真正的黑客不会计算梯度，而是使用快速工程。”该研究将人工智能安全研究与现实世界的实践进行了比较。在一次测试中，该团队仅通过将有害指令隐藏在图像文本中就成功绕过了图像生成器的安全功能——无需复杂的

OpenAI发布报告详细记录了GPT-4o模型的优势与风险。该模型在特定条件下表现出奇特行为，如在高背景噪音环境中模仿用户的语音，这可能是由于模型理解语音的困难。GPT-4o有时会在特定提示下生成令人不安的非言语声音或音效，尽管有证据显示模型通常会拒绝此类请求。此外，报告指出，GPT-4o可能在未经授权的情况下涉及音乐版权问题。为应对这些风险，OpenAI已采取措施，包括在高级语音模式中增加系统级缓解措施，并更新过滤器来检测和阻止包含音乐的输出。报告强调，尽管存在潜在风险，GPT-4o通过各种缓解措施和保障措施变得更安全，如拒绝基于语音识别个人和避免回答带有偏见的问题。

["奇安信集团发布《2024人工智能安全报告》","2023年基于AI的深度伪造欺诈激增3000%","基于AI的钓鱼邮件增长了1000%","有国家背景的APT组织利用AI实施了十余起网络攻击事件","人工智能技术的恶意使用将快速增长"]