OpenAIの人工知能推論研究責任者であるNoam Brown氏は、最近のNVIDIA GTCカンファレンスのパネルディスカッションで、研究者たちが「正しい方法とアルゴリズムを知っていた」ならば、特定の種類の「推論」AIモデルは20年も前に登場していた可能性があると述べました。彼は、この研究分野が見過ごされてきたのには様々な理由があると指摘しました。
Brown氏は、トップクラスのプロポーカープレイヤーを破ったPluribusを含む、カーネギーメロン大学で博弈AIの研究に従事していた経験を振り返り、当時彼が開発に携わったAIの独自性は、純粋な総当たり計算に頼るのではなく、問題解決のために「推論」を行う点にあったと述べました。Brown氏は、人間が難しい状況でじっくり考える時間を費やすことが、人工知能にとって非常に有益である可能性があると指摘しました。
Brown氏は、OpenAIのAIモデルo1のアーキテクトの一人でもあります。このモデルは「テスト時推論」と呼ばれる技術を採用しており、クエリに応答する前に「思考」を行います。テスト時推論は、実行中のモデルに追加計算を適用することで、ある種の「推論」を促進します。一般的に、いわゆる推論モデルは、特に数学や科学分野において、従来のモデルよりも正確で信頼性が高いと言われています。
パネルディスカッションで、大学が計算資源に普遍的に乏しいことを考慮すると、学術界はOpenAIのような規模の実験を行うことは可能なのかという質問に対して、Brown氏は、近年モデルが計算資源に対する要求を高めるにつれて、それがより困難になっていることを認めました。しかし同時に、学術界はモデルアーキテクチャ設計など、計算要求の低い分野を探求することで重要な役割を果たすことができると指摘しました。
Brown氏は、最先端の研究所と学術界の間には協力の機会があると強調しました。最先端の研究所は学術論文に注目し、提示された議論が十分説得力があるかどうか、つまり規模を拡大した場合に研究が非常に効果的かどうかを慎重に評価していると述べました。論文が説得力のある議論を提示すれば、これらの研究所はそれを深く研究するでしょう。
さらに、Brown氏はAIベンチマーク分野にも特に言及し、学術界がそこで重要な役割を果たすことができると考えました。彼は現在のAIベンチマークの現状を「非常に悪い」と批判し、これらのベンチマークはしばしば難解な知識を問うものであり、そのスコアは多くの人が関心を持つタスクの熟練度と相関性が低いことから、モデルの能力と改善に対する広範な誤解につながっていると指摘しました。Brown氏は、AIベンチマークの改善には大量の計算資源は必要ないと考えています。
注目すべき点として、今回のディスカッションでBrown氏の最初の発言は、o1のような推論モデルではなく、Pluribusのような、彼がOpenAIに参加する前に取り組んでいた博弈AIの研究に関するものでした。
要点：
- 🤔 OpenAIのNoam Brown氏は、より早く正しい方法を発見していれば、「推論」AIは20年も前に登場していた可能性があったと述べ、以前の研究方向が見過ごされていた状況を指摘しました。
- 🤝 Brown氏は、学術界と最先端のAI研究所の間には協力の機会があると強調し、学術界はモデルアーキテクチャ設計やAIベンチマークなど、計算資源要求の低い分野で重要な役割を果たすことができると述べました。
- 📈 「テスト時推論」などの技術を採用した推論モデルは、従来のモデルよりも正確で信頼性が高いとされ、特に数学や科学分野においてその傾向が顕著です。
