Sakana AI社は、「AI科学者」システムを発表しました。これは、概念生成、コード作成、実験実行、結果のまとめ、論文執筆、さらには査読に至るまで、科学研究プロセス全体を独立して実行できる包括的なAIプラットフォームです。人間の科学研究プロセスを模倣するように設計されており、拡散モデル、トランスフォーマー、深層理解など、機械学習の複数のサブフィールドで革新的な貢献を示し、高い計算効率と低コスト（論文1本あたり約15ドル）を実現しています。ただし、初期バージョンには

2023～2024年のトップレベルのAI会議において、ChatGPTなどのモデルによって生成されたコンテンツが17％に達することが査読によって判明しました。AIによるコンテンツ作成が集中するのは、多くの場合締め切り間近であり、参考文献や査読者の参加が不足している傾向が見られます。この研究は、AIによる査読支援の開示、良好な慣行の促進、知識の多様性の維持といった問題提起を行っています。人工知能の急速な発展は、科学的な品質管理に影響を与えており、混合知識労働における功績の見直しが必要となっています。

スタンフォード大学の研究者らが、GPT-4によるNature、ICLR論文の査読意見が、人間によるものと50％以上の合致率を示すことを発見。研究者らはGPT-4に論文のPDFを入力し、得られた査読意見を人間によるものと比較。GPT-4による査読意見の類似度は82％を超え、著者はその意見が有益であると評価。人間と比べて、GPT-4は論文のインパクトファクターに注目する傾向があり、アブレーションスタディにはあまり注目しない傾向が見られた。ユーザーからは、GPT-4によるフィードバックが正確性を向上させ、人手による査読量を削減できるとの意見が多い。