企業による大規模言語モデル（LLM）の利用が増えるにつれ、モデルの知識の正確性を高め、幻覚現象を低減することが重要な課題となっています。Meta AIの研究者たちは新たな論文で、「拡張メモリ層」と呼ばれる、この問題に対する解決策となる可能性のある手法を発表しました。拡張メモリ層の核心は、推論時の計算資源を増やすことなく、LLMに追加パラメータを導入することで学習能力を高めることです。このアーキテクチャは、大量の事実知識を保存しつつ、推論処理を維持したい場合に適しています。

アップルとそのパートナーは、7億パラメーターを持つオープンソースの大規模言語モデルDCLMを発表しました。2.5兆個のトークンデータでトレーニングされており、言語の理解と生成能力が大幅に向上しています。DCLMの中核は、標準化されたデータセット最適化ツールであり、Hugging Faceプラットフォームで研究者が実験を行い、様々なデータセットの品質と改善方法を評価することを目的としています。研究によると、DCLMを用いて構築されたベンチマークデータセットは、特にM…において、主要なテストで優れた性能を示すモデルをトレーニングできることが示されています。