近期,一项发表在《自然》杂志上的研究揭示了人工智能发展中的一个令人深思的现象:随着大型语言模型(LLMs)的不断升级,它们在回答问题时越来越倾向于"自信满满"地给出答案,即便这些答案可能是错误的。这种现象引发了对AI可靠性和使用风险的广泛讨论。

研究团队由西班牙瓦伦西亚人工智能研究所的José Hernández-Orallo及其同事组成。他们深入分析了AI模型在演进过程中错误回答的变化趋势,以及这些错误与人类对问题难度感知的关系,以及人们识别错误回答的能力。

研究结果显示,随着模型的不断完善,尤其是通过人类反馈学习等精细调整方法,AI的整体性能确实有所提升。然而,一个意外的发现是,随着正确答案数量的增加,错误答案的比例也同步上升。Hernández-Orallo形象地描述道:"它们几乎对所有问题都给出回答,这意味着更高的正确率也伴随着更多的错误答案。"

机器人 人工智能  AI

图源备注:图片由AI生成,图片授权服务商Midjourney

研究团队主要关注了OpenAI的GPT、Meta的LMA和开源模型BLOOM等主流AI模型。通过对比这些模型的早期版本和后期精炼版本,他们分析了它们在各类问题上的表现。结果显示,虽然模型在简单问题上的表现有所提升,但在面对困难问题时,它们并没有表现出明显的回避倾向。以GPT-4为例,它几乎会对所有问题作答,而在很多情况下,错误回答的比例不断增加,有时甚至超过60%。

更令人担忧的是,研究发现这些模型有时连简单问题也会答错,这意味着用户难以找到一个可以高度信赖AI回答的"安全区"。当研究团队请志愿者判断这些答案的正确性时,结果更加令人不安:参与者对错误答案的错误分类率高达10%到40%之间,无论是简单问题还是复杂问题。Hernández-Orallo总结道:"人类无法有效监督这些模型。"

为了应对这一挑战,Hernández-Orallo建议AI开发者应该着重提升模型在简单问题上的表现,并鼓励聊天机器人在面对困难问题时适当表示不确定或拒绝回答。他强调:"我们需要让用户明白:我可以在这个领域使用它,但在那个领域就不应该使用它。"

虽然让AI能回答各种复杂问题看似令人印象深刻,但Hernández-Orallo指出,这种做法并不总是有益。他甚至对某些模型在简单计算问题上的错误表示困惑,认为这是可以且应该解决的问题。

南卡罗来纳大学的计算机科学家Vipula Rawte指出,一些模型确实会表示"我不知道"或"我没有足够的信息"。特别是针对特定用途(如医疗)的AI系统往往会进行更严格的调整,以防止超出知识范围。然而,对于那些致力于开发通用聊天机器人的公司来说,承认不知道并不总是一个理想的功能。

这项研究揭示了AI发展中的一个重要悖论:随着模型变得更加复杂和强大,它们可能在某些方面变得更不可靠。这一发现对AI开发者、使用者和监管者都提出了新的挑战。

未来,AI开发需要在提高性能和保持谨慎之间找到平衡。开发者可能需要重新考虑如何评估AI模型的性能,不仅要关注正确答案的数量,还要考虑错误答案的比例和影响。同时,提高用户对AI局限性的认识也变得越来越重要。

对于普通用户来说,这项研究提醒我们在使用AI工具时需要保持警惕。尽管AI能够提供便利和效率,但我们仍然需要运用批判性思维,特别是在处理重要或敏感信息时。