最近、ヨーロッパのある博士号取得者が機械学習の分野で大きな話題を呼びました。彼は、アメリカの同僚たちが次々と驚くべき成果を上げていることに驚きを隠せません。彼らは何本ものトップレベルの会議論文を発表しており、そのうち数本は筆頭著者として名を連ねているのです。一方、彼はヨーロッパで博士課程を修了しており、4年間、研究と探求を両立させてきました。最初の1年間は研究内容の理解に費やし、2年目にCVPRというトップレベルの会議で論文を発表、3年目になってようやくプロジェクトマネジメントや資金調達のコツを掴んだという状況です。
現在、彼の履歴書には2本の論文(どちらも筆頭著者)、1本のジャーナル論文、そして1本の会議論文が掲載されています。悪くはない成績ですが、アメリカの同僚たちの成果と比べると、圧倒的な差を感じずにはいられません。
「彼らは一体どうやってやっているんだ?睡眠時間はないのか?」彼はアメリカの博士課程修了者たちの効率の良さに困惑しています。彼は自分の方が彼らより賢いとは考えていません。しかし、新しいアイデアが浮かぶたびに、スタンフォード大学やDeepMindの博士号取得者が既に同様の研究を発表していることに気づきます。これらの論文を深く理解するには膨大な時間と労力がかかります。それが数ヶ月で達成できるものなのでしょうか?
画像出典:AIにより生成された画像、画像ライセンス提供元Midjourney
この博士は、彼らがこれほど高い効率で研究成果を上げられる理由に疑問を抱いています。彼は競争好きな人間ではありませんし、個々の環境の違いも理解しています。しかし、わずか3年の研究経験しかない者が、1年でこれほど質の高い研究成果を次々と生み出すことに、驚きを禁じえません。
このことについて、ネット上でも様々な意見が寄せられています。アメリカの学界は驚くほど競争が激しく、非常に厳しい環境であるという意見が多いです。アメリカでは、働き方は「とにかく頑張る」ことが当たり前です。アメリカのトップレベルのコンピュータサイエンスプログラムで学部生として学んだ経験を持つ人物によると、大学院生は毎日10時間以上働き、ほとんど休むことはありません。ある日、彼が夜7時に研究室に行くと、学生たちは皆、深夜1時まで熱心に研究に取り組んでいました。
研究室に明確な勤務時間制限はないものの、そのような環境では、誰もが大きなプレッシャーを感じています。言うまでもなく、アメリカの研究室には世界中からトップクラスの人材が集まっています。例えば、あるトップレベルの清華大学のプログラムの合格率はわずか0.1%です。このような優秀な学生たちが集まり、毎日10時間働けば、成果が出ない方が難しいでしょう。
もちろん、このような状況はAI分野に限ったことではありません。科学、技術、工学、数学(STEM)分野のほとんどで同様の現象が見られます。物理学の博士課程でそのような状態を経験した人もいます。研究室以外にすることなど何もありませんでした。
さらに、資源の差も重要な要素です。トップレベルの博士課程の学生とそうでない学生の間では、利用できる資源に大きな差があります。高価なGPUを大量に備えた研究室では、研究の進捗が大幅に加速します。一方、資源の少ない博士課程の学生は、ただ羨ましく思うしかありません。アメリカ国内の大学間でも、GPUの装備状況には大きな差があります。
トップ5に入る機械学習の博士課程の学生が投稿したところによると、彼の研究室にはH100が1台もないため、計算資源を巡って学生同士が争奪戦を繰り広げているとのことです。プリンストン大学やハーバード大学などの「GPU大国」と比較すると、資源の少ない博士課程の学生は、迅速に研究成果を得ることができません。
最後に、有名機関の支持も大きな力となります。トップレベルの大学と大手テクノロジー企業の緊密な連携は、革新的なプロジェクトの着想を生み出すだけでなく、追加の資源支援も提供します。このように、学術成果におけるこのような大きな差を生み出している原因は、深く考える価値のある問題です。