Anthropic公司周一宣布启动一项新计划,旨在资助开发能够评估人工智能模型性能和影响的新型基准,包括像其自家Claude这样的生成模型。
根据Anthropic官方博客发布的信息,该公司将向第三方组织提供资金支持,以开发"有效衡量人工智能模型先进能力"的工具。感兴趣的组织可以提交申请,评估将以滚动方式进行。
Anthropic表示,这项投资旨在提升整个人工智能安全领域,为整个生态系统提供宝贵工具。公司认为,开发高质量、与安全相关的评估仍具挑战性,且需求超过供应。
该计划重点关注人工智能安全和社会影响,计划通过新工具、基础设施和方法创建具有挑战性的基准。Anthropic特别要求进行测试,以评估模型在网络攻击、武器改进、操纵或欺骗等方面的能力。此外,公司还致力于开发一种用于识别和评估国家安全和国防相关人工智能风险的"预警系统"。
Anthropic还表示,新计划将支持探究人工智能在辅助科学研究、多语言交流、减轻偏见以及自我审查等方面潜力的研究。为实现这些目标,公司设想建立新平台,让专家开发评估并进行大规模试验。
虽然Anthropic的这一举措受到赞扬,但也引发了一些质疑。有观点认为,考虑到公司的商业利益,其资助项目的公正性可能受到影响。此外,对于Anthropic提到的某些"灾难性"和"欺骗性"人工智能风险,一些专家表示怀疑,认为这可能会分散对当前更紧迫的人工智能监管问题的注意力。
Anthropic希望这一计划能推动全面的人工智能评估成为行业标准。然而,独立的人工智能基准开发团体是否愿意与商业人工智能供应商合作,仍有待观察。