生成AIの急速な発展に伴い、業界における「大きいほど良い」という従来の認識は変わりつつあります。多くのトップAI科学者は最近、データ量と計算能力を増やすだけでAIのパフォーマンスを向上させる方法は限界に近づいており、新たな技術的ブレークスルーの方向性が現れていると述べています。
Safe SuperintelligenceとOpenAIの共同創設者であるIlya Sutskever氏は最近、従来の事前学習方法は性能のプラトー期に入っていると述べています。この主張は、彼がかつて提唱した大規模事前学習手法がChatGPTを生み出したことから、特に注目に値します。彼は現在、AI分野は「規模拡大時代」から「奇跡と発見の時代」に移行したと述べています。
現在の大規模モデルの訓練は、数千万ドルにも上る訓練コスト、システムの複雑さによるハードウェア故障のリスク、長いテスト期間、データ資源とエネルギー供給の制限など、多くの課題に直面しています。これらの問題は、研究者たちに新たな技術経路の探求を促しています。
その中で、「テスト時計算」（test-time compute）技術が注目を集めています。この方法は、AIモデルが単一の答えを出すのではなく、使用中に複数の選択肢をリアルタイムで生成および評価することを可能にします。OpenAIの研究者であるNoam Brown氏は、分かりやすい例えとして、AIにトランプゲームで20秒間考えさせることで、モデルの規模と訓練時間を10万倍に拡大するのと同じ効果が得られると述べています。
現在、OpenAI、Anthropic、xAI、DeepMindなど、多くのトップAI研究所がそれぞれの技術バージョンを積極的に開発しています。OpenAIは最新のモデル「o1」でこの技術を適用しており、最高製品責任者であるKevin Weil氏は、これらの革新的な方法を通じて、モデルのパフォーマンスを大幅に向上させる機会が見られると述べています。
業界の専門家は、この技術路線の変化がAI業界全体の競争構造を再構築し、AI企業の様々な資源に対するニーズ構造を根本的に変える可能性があると指摘しています。これは、AIの発展が、単なる規模拡大ではなく、品質向上に重点を置く新たな段階に入ったことを示しています。
