大型语言模型(LLM)的横空出世,尤其是ChatGPT等应用的普及,彻底改变了人机交互的方式。 这些模型能够生成连贯且全面的文本,令人印象深刻。然而,尽管能力强大,LLM却容易产生“幻觉”,即生成看似真实但实际上是虚构、无意义或与提示不符的内容。
哈佛大学的研究人员对LLM“幻觉”现象进行了深入研究,发现其根源在于LLM的工作原理。 LLM通过对海量文本数据进行机器学习来构建概率模型,并根据词语共现的概率来预测下一个词语。 换句话说,LLM并非真正理解语言的含义,而是根据统计概率进行预测。
研究人员将LLM比作“众包”,认为LLM实际上是在输出“网络共识”。 就像维基百科或Reddit等平台一样,LLM从大量文本数据中提取信息,并生成最常见的答案。 由于大多数语言的使用都是为了描述世界,因此LLM生成的答案通常是准确的。
然而,当LLM遇到模糊、有争议或缺乏共识的主题时,就会出现“幻觉”。 为了验证这一假设,研究人员设计了一系列实验,测试了不同LLM在处理不同主题时的表现。 实验结果表明,LLM在处理常见主题时表现良好,但在处理模糊或有争议的主题时,准确性明显下降。
这项研究表明,LLM虽然是强大的工具,但其准确性取决于训练数据的质量和数量。 在使用LLM时,尤其是在处理模糊或有争议的主题时,需要谨慎对待其输出结果。 这项研究也为LLM的未来发展提供了方向,即需要改进LLM处理模糊和有争议主题的能力,并提高其输出结果的可解释性。
论文地址:https://dl.acm.org/doi/pdf/10.1145/3688007