在人工智能迅速发展的今天，AI “幻觉” 现象愈加频繁，给许多企业带来了不小的困扰。客户服务聊天机器人自信地描述不存在的产品，金融 AI 编造市场数据，医疗机器人则提供危险的医疗建议。这些问题不再是单纯的趣事，而是正在影响公司声誉与盈利的重大隐患。
为了应对这一挑战，位于旧金山的初创公司 Patronus AI 宣布推出全球首个自助服务平台，旨在实时检测和防止 AI 系统出现故障。这个平台就像是 AI 系统的 “拼写检查器”，可以在问题发生前将其捕捉到。
Patronus AI 的首席执行官 Anand Kannappan 在接受采访时表示，许多公司在生产环境中面临 AI 故障，问题包括幻觉、安全漏洞和不可预测的行为。根据公司的研究，领先的 AI 模型如 GPT-4在提示时44% 的几率会重复受版权保护的内容，而即使是先进的模型，在基本安全测试中也有超过20% 的概率生成不安全的响应。
为了帮助企业提高 AI 系统的安全性，Patronus AI 提供了一系列创新功能。其中，最显著的 “评估者” 功能允许企业用简单的英语编写定制化的评估规则。这种灵活性让各行各业的公司能够根据自身需求进行调整，如金融服务公司可以关注合规性，而医疗机构则可以关注患者隐私和医疗准确性。
平台的核心是名为 Lynx 的突破性幻觉检测模型，其在识别医疗不准确性方面比 GPT-4高出8.3% 的准确率。此外，该平台有两种运作模式:一种用于实时监控，另一种用于深入分析。除了传统的错误检查，该公司还开发了如 CopyrightCatcher（版权检测工具）和 FinanceBench(金融性能评估基准)等专用工具，为企业提供全面的 AI 故障防护。
为了让更多企业能负担得起这些安全工具，Patronus AI 采用了按需付费的定价模型，起价为每1000次 API 调用10美元。早期采用者已经包括 HP、AngelList 和 Pearson 等大型企业，显示出对 AI 安全投资的重视。
在 AI 发展迅速的今天，工具如 Patronus AI 的平台不仅可以帮助企业降低风险，还有助于符合即将到来的法律法规。随着 AI 系统的不断进化，如何准确捕捉并修正这些 “幻觉” 将是企业面临的重要挑战。
产品入口:https://www.patronus.ai/
划重点:
🌟 Patronus AI 推出全球首个自助 API，旨在实时检测和预防 AI 幻觉现象。
🛡️ 该平台允许企业用简单英语创建定制评估规则，提供灵活的解决方案。
💰 采用按需付费模式，使更多企业能够负担得起 AI 安全工具。
