ハーバード大学ケネディスクールによる「誤情報調査」研究によると、人工知能（AI）によって生成された虚偽の研究論文が、Google Scholarなどの学術検索エンジンに浸透しつつあることが分かりました。これは、科学的発見に対する大衆の信頼を弱体化させ、最先端研究に依存する業界の製品開発を阻害する可能性があります。
研究者らは、AIツールによって生成された疑いのある論文139本を発見し、その半数以上が健康、環境問題、計算技術などのテーマに焦点を当てていることが分かりました。これらの虚偽の研究論文は、誤解を招く製品発表や資源の無駄遣い、科学への信頼とエビデンスに基づく意思決定の信頼性の低下につながる可能性があります。
AI企業Positron NetworksのCEO兼共同創設者であるSid Rao氏は、大規模言語モデルは、基礎モデルのトレーニングデータに存在するバイアスに基づいて結果を生成する確率があり、これによりテキストに、論文の着想に使用された科学的方法とは無関係なバイアスが生じる可能性があると述べています。このバイアスは不正確な結果を生み出し、巧妙に誤った内容を生み出す可能性があります。
Rao氏は、AIの幻覚が不正確な結果を生み出し、巧妙に誤った内容を生み出す可能性があると警告しています。例えば、ある論文は正しい結論を導き出している可能性がありますが、それでも引用されていない、あるいは主観的な支持陳述を含んでいる可能性があります。誤り率や幻覚率が1％であっても、これらの2つの問題は、科学研究に対する信頼を根本的に弱体化させます。
AIによって生成された虚偽の研究論文は、研究開発投資に大きな影響を与えます。投資家は、何が真実で何がアルゴリズムによるでたらめなのかを区別できなくなると、撤退を始めます。研究開発はすでに十分にリスクが高いものですが、疑わしいAI駆動による出版物がもたらす不確実性が加われば、状況はさらに悪化します。
さらに、偽造文書は商業規制にも非常に深刻な影響を与える可能性があります。信頼できない研究は規制当局を混乱させ、製品の背後にある科学的根拠が信頼できない場合、立法者は消費者を保護するために過剰規制を行うか、あるいはさらに悪いことに、虚偽のデータに基づいて誤った政策を策定する可能性があります。
研究者らは、AIによって生成された虚偽の研究論文に対する規制強化を訴え、科学界と規制当局に対し、科学研究の信頼性と真実性を確保するための措置を講じるよう求めています。
