法国人工智能新秀Mistral AI于近日推出全新内容审核API服务，这一举措不仅彰显了其在全球AI领域的雄心，更体现了对AI安全治理的深度思考。这款基于Ministral8B模型打造的审核系统，能够精准识别九大类潜在有害内容，包括性内容、仇恨言论、暴力、危险活动以及个人身份信息等。值得关注的是，该API支持11种主要语言，涵盖阿拉伯语、中文、英语、法语等，这一多语言处理能力让Mistral在全球AI内容审核市场占据了独特优势。目前，该服务已率先在Mistral自家的Le Chat平台上线应用。图源备注

法国人工智能初创公司 Mistral AI 近日正式推出了一款全新的内容审核 API，旨在与 OpenAI 及其他行业领军者展开竞争，同时应对日益增长的 AI 安全与内容过滤问题。这项服务基于 Mistral 的 Ministral8B 模型，经过精细调优，能够在九个不同类别中检测潜在的有害内容，包括色情内容、仇恨言论、暴力行为、危险活动以及个人可识别信息等。该 API 同时具备对原始文本和对话内容的分析能力。Mistral AI 在发布会上强调，“安全性在使 AI 变得有用方面扮演着关键角色。” 他们认为，系统级的安全防

在数字时代，内容安全问题愈发受到重视。9月26日，OpenAI 正式推出了一款全新的多模态内容审核模型，名为 “omni-moderation-latest”。该模型基于最新的 GPT-4o 技术，能够准确地识别检测有害文本图像。这一更新将为开发者提供强大的工具，让他们能够构建更强大的审核系统。新模型的亮点在于，它支持对文本和图像输入进行审核，特别是在处理非英语内容时表现更加出色。与之前的审核模型相比，“omni-moderation-latest” 不仅提高了识别的准确性，还增加了检测更多有害内容的能力。它可以对

["📷 <b>图像过滤器</b>:OpenAI训练了专有图像分类器,可检测到图片中的可疑模式,从而阻止生成令人不安的内容。","📷 <b>文化偏见</b>:DALL-E 3仍然存在文化偏见,通常偏向西方文化,尤其是在不明确的提示中。","⛔ <b>版权问题</b>:OpenAI承认,尽管采取了所有安全措施,由于无法预测每种组合,版权材料可能会出现在生成的图像中。"]

["GPT-4 可以在几个小时内完成人类几个月的审核工作。","使用 GPT-4 进行内容审核可以实现更一致的标签、更快的政策反馈循环。","利用 GPT-4 进行内容审核可以减轻人类审核员的心理负担。"]

["Hive AI 是一家利用人工智能管理数字内容的软件公司，正在寻求融资 2 亿美元。","Hive AI 的估值预计将高于该公司 2021 年的 20 亿美元估值，可能接近 40 亿美元。","Hive AI 的内容审核服务已经被多个客户使用，包括 Visa、Netflix 和 Reddit。"]

["Hive AI 是一家利用人工智能技术进行数字内容审核的软件公司，据知情人士透露，该公司正寻求融资 2 亿美元。","预计估值将超过 2021 年的 20 亿美元。","Hive AI 的估值可能接近 40 亿美元。"]