最近の研究によると、特別な訓練によって、言語モデルはより効率的な複数ステップ推論能力を部分的に実現できることが示されました。この能力は、心理学者ダニエル・カーネマンが説明する「システム2推論」、つまりゆっくりとした意識的な情報処理方法に似ています。

Meta社の研究者らは、計算集約的な複数ステップ推論プロセスを言語モデルのパラメータに「蒸留」する新しい手法を開発しました。研究結果によると、この手法で訓練されたモデルは、特定の状況下で、元の複数ステッププロセスと同等の性能を、より低い計算コストで達成できることが示されました。

この「蒸留」手法の仕組みは次のとおりです。まず、大量のサンプルデータに複数ステップ推論手法を適用し、次に整合性の高い結果を選別して保持し、最後にこれらのデータを使用して言語モデルを微調整します。本質的に、この手法は合成訓練データを作成することで、言語モデルが中間ステップを経ることなく直接結論を導き出せるようにします。

人工知能の脳、大規模モデル

画像出典：AI生成画像、画像ライセンス提供元Midjourney

研究者らは、この手法を4種類の異なる複数ステップ推論技術と5種類のタスクタイプに適用しました。その結果、多くの場合、この手法はモデルの性能を効果的に向上させることができることが示されましたが、すべてのシナリオに適用できるわけではありません。

例えば、バイアスの回避や応答品質の向上などのタスクでは、「蒸留」されたモデルの性能は複数ステップ手法と同等でしたが、必要な計算資源は大幅に削減されました。しかし、複雑な数学的推論タスクでは、この手法は効果がありませんでした。研究者らは、特定のタスクは単一ステップ推論には複雑すぎる可能性があると推測しています。

それにもかかわらず、研究者らは、この手法はより強力な言語処理システムを開発するための有望な方向性を示していると述べています。今後、この手法を他の技術と組み合わせ、真に困難な問題の解決に焦点を当てることができます。

この研究は、言語モデルの推論能力を向上させるための新たな道を切り開き、複数の応用分野でブレークスルーをもたらす可能性があります。