近日，一项由瑞士初创公司 LatticeFlow 开发的 AI 模型合规检查工具引起了广泛关注。该工具测试了多家大科技公司，包括 Meta 和 OpenAI，开发的生成性 AI 模型，结果显示，这些模型在网络安全和歧视性输出等关键领域存在明显不足。
图源备注：图片由AI生成，图片授权服务商Midjourney
自从2022年末 OpenAI 发布 ChatGPT 以来，欧盟对新的人工智能法规进行了长时间的讨论。由于 ChatGPT 的火爆以及公众对 AI 潜在风险的广泛讨论，立法者们开始着手制定针对 “通用人工智能”（GPAI）的具体规则。随着欧盟的 AI 法案逐步生效，LatticeFlow 及其合作伙伴开发的这一测试工具，成为评估各大科技公司 AI 模型的重要工具。
该工具会根据 AI 法案的要求，对每个模型进行评分，分数范围从0到1。根据 LatticeFlow 近日发布的排行榜，像阿里巴巴、Anthropic、OpenAI、Meta 和 Mistral 等公司的多个模型都获得了平均分数在0.75以上的好评。不过，LLM Checker 也发现了一些模型在合规性方面的缺陷，指出这些公司可能需要重新分配资源，以确保满足法规要求。
未能符合 AI 法案的公司将面临3500万欧元（约合3800万美元）或全球年营业额7% 的罚款。目前，欧盟仍在制定如何执行 AI 法案中关于生成性 AI 工具(例如 ChatGPT)的规则，计划在2025年春季前召集专家制定相关操作规范。
在测试中，LatticeFlow 发现，生成性 AI 模型的歧视性输出问题依然严重，反映了在性别、种族等领域的人类偏见。例如，在歧视性输出的测试中，OpenAI 的 “GPT-3.5Turbo” 模型得分为0.46。另一项针对 “提示劫持” 攻击的测试中，Meta 的 “Llama213B Chat” 模型得分为0.42，法国外企 Mistral 的 “8x7B Instruct” 模型则为0.38。
在所有参与测试的模型中，谷歌支持的 Anthropic 的 “Claude3Opus” 得分最高，达到0.89。LatticeFlow 的首席执行官 Petar Tsankov 表示，这些测试结果为公司优化模型、符合 AI 法案要求提供了方向。他指出:“尽管欧盟仍在制定合规标准，但我们已经看到模型中的一些缺口。”
此外，欧洲委员会的发言人对此次研究表示欢迎，认为这是将欧盟 AI 法案转化为技术要求的第一步。
划重点:
🌐 许多知名 AI 模型在网络安全和歧视性输出方面未能符合欧盟 AI 法案要求。
💰 未能遵守 AI 法案的公司将面临高达3500万欧元的罚款或营业额的7%。
📊 LatticeFlow 的 “LLM Checker” 工具为科技公司提供了合规性评估的新方法，帮助其提升模型质量。