最近、人工知能分野で再び波紋が広がっている。月面暗黒面（Moonshot）が新たな最適化器Muonをオープンソースとして公開し、計算効率が従来のAdamWの2倍に向上したと発表した。この新たな最適化器の発表は、DeepSeekが複数のコードライブラリを連続してオープンソース化する直前にあたり、業界で大きな注目と議論を呼んでいる。Muon最適化器は、OpenAIの研究者Keller Jordanらが2024年に最初に提案したもので、小規模モデルのトレーニングにおいて優れた性能を発揮する。

人工知能分野では、大型言語モデル（LLMs）のトレーニングが技術進歩を推進する重要な方向性となっています。しかし、モデルの規模とデータセットの拡大に伴い、従来の最適化手法—特にAdamW—がその限界を次第に露呈しています。研究者たちは計算コストの高さやトレーニングの不安定さなど、一連の課題に直面しています。これには、勾配の消失や爆発、パラメータ行列の更新不整合、分散環境下でのリソース要求の高さなどがあります。したがって、これらの複雑性に対処するために、より効率的で安定した最適化技術の必要性が高まっています。

AIの世界では、力技が万能のように思われています。モデルが大きくなればなるほど、データが多くなればなるほど、計算能力が強くなればなるほど、まるで知性の聖杯に近づけるかのように感じます。しかし、この急激な発展の裏には、膨大なコストとエネルギー消費の問題が潜んでいます。AIの学習をより効率的にするために、科学者たちはより強力な最適化器を探し続けています。まるでコーチのように、モデルのパラメータを絶えず最適化し、最終的に最適な状態に導くのです。AdamWはTransformer事前学習のデフォルト最適化器として、長年業界のベンチマークとなっています。