在人工智能迅速发展的今天,AI “幻觉” 现象愈加频繁,给许多企业带来了不小的困扰。客户服务聊天机器人自信地描述不存在的产品,金融 AI 编造市场数据,医疗机器人则提供危险的医疗建议。这些问题不再是单纯的趣事,而是正在影响公司声誉与盈利的重大隐患。

image.png

为了应对这一挑战,位于旧金山的初创公司 Patronus AI 宣布推出全球首个自助服务平台,旨在实时检测和防止 AI 系统出现故障。这个平台就像是 AI 系统的 “拼写检查器”,可以在问题发生前将其捕捉到。

Patronus AI 的首席执行官 Anand Kannappan 在接受采访时表示,许多公司在生产环境中面临 AI 故障,问题包括幻觉、安全漏洞和不可预测的行为。根据公司的研究,领先的 AI 模型如 GPT-4在提示时44% 的几率会重复受版权保护的内容,而即使是先进的模型,在基本安全测试中也有超过20% 的概率生成不安全的响应。

为了帮助企业提高 AI 系统的安全性,Patronus AI 提供了一系列创新功能。其中,最显著的 “评估者” 功能允许企业用简单的英语编写定制化的评估规则。这种灵活性让各行各业的公司能够根据自身需求进行调整,如金融服务公司可以关注合规性,而医疗机构则可以关注患者隐私和医疗准确性。

平台的核心是名为 Lynx 的突破性幻觉检测模型,其在识别医疗不准确性方面比 GPT-4高出8.3% 的准确率。此外,该平台有两种运作模式:一种用于实时监控,另一种用于深入分析。除了传统的错误检查,该公司还开发了如 CopyrightCatcher(版权检测工具)和 FinanceBench(金融性能评估基准)等专用工具,为企业提供全面的 AI 故障防护。

为了让更多企业能负担得起这些安全工具,Patronus AI 采用了按需付费的定价模型,起价为每1000次 API 调用10美元。早期采用者已经包括 HP、AngelList 和 Pearson 等大型企业,显示出对 AI 安全投资的重视。

在 AI 发展迅速的今天,工具如 Patronus AI 的平台不仅可以帮助企业降低风险,还有助于符合即将到来的法律法规。随着 AI 系统的不断进化,如何准确捕捉并修正这些 “幻觉” 将是企业面临的重要挑战。

产品入口:https://www.patronus.ai/

划重点:

🌟 Patronus AI 推出全球首个自助 API,旨在实时检测和预防 AI 幻觉现象。  

🛡️ 该平台允许企业用简单英语创建定制评估规则,提供灵活的解决方案。  

💰 采用按需付费模式,使更多企业能够负担得起 AI 安全工具。