近日，哈佛肯尼迪学院的“错误信息审查”研究发现，人工智能生成的虚假研究论文正在渗透到谷歌学术等学术搜索引擎中。这可能会削弱公众对科学发现的信任，并破坏依赖尖端研究的行业的产品开发。
研究人员发现了139篇疑似由人工智能工具生成的论文，其中超过一半的论文关注健康、环境问题和计算技术等主题。这些虚假研究论文可能会导致误导性的产品发布和资源浪费，破坏公众对科学的信任和基于证据的决策的可靠性。
人工智能公司Positron Networks首席执行官兼联合创始人Sid Rao表示，大型语言模型根据与基础模型所训练数据存在偏差的概率生成结果，这可能会导致文本中出现与构思论文所用的科学方法无关的偏见。这种偏见可能会产生不准确的结果，并巧妙地产生错误的内容。
拉奥警告称，人工智能幻觉会产生不准确的结果，并巧妙地产生错误的内容。例如，一篇论文可能会提出正确的结论，但仍然包含未引用或主观的支持陈述。即使错误率或幻觉率只有1%，这两个问题也会从根本上削弱人们对科学研究的信任。
人工智能生成的虚假研究论文对研发投资的影响是重大的。投资者无法分辨什么是真实的，什么是算法的废话，他们就会开始撤退。研发已经足够冒险了，再加上可疑的人工智能驱动出版物带来的不确定性，情况就更糟了。
此外，伪造文件对商业法规的影响也可能非常严重。不可靠的研究让监管机构感到困惑，如果产品背后的科学依据不可靠，立法者要么会通过过度监管来保护消费者，要么会更糟，他们会根据虚假数据制定糟糕的政策。
研究人员呼吁加强对人工智能生成的虚假研究论文的监管，并呼吁科学界和监管机构采取措施确保科学研究的可靠性和真实性。