最近、人工知能分野で再び波紋が広がっている。月面暗黒面（Moonshot）が新たな最適化器Muonをオープンソースとして公開し、計算効率が従来のAdamWの2倍に向上したと発表した。この新たな最適化器の発表は、DeepSeekが複数のコードライブラリを連続してオープンソース化する直前にあたり、業界で大きな注目と議論を呼んでいる。Muon最適化器は、OpenAIの研究者Keller Jordanらが2024年に最初に提案したもので、小規模モデルのトレーニングにおいて優れた性能を発揮する。

MetaのFAIRチームは最近、Dualformerという新しいTransformerモデルを発表しました。このモデルは人間の二重認知システムを模倣し、高速推論と低速推論のモードをシームレスに統合することで、推論能力と計算効率において顕著な進歩を遂げています。人間の思考過程は一般的に、2つのシステムによって制御されていると考えられています。システム1は高速で直感的であり、システム2はより低速ですが論理的です。従来のTransformerモデルは、通常システム1またはシステム2のどちらか一方のみを模倣していました。

Googleが新たに発表したNeuralGCMモデルは、天気予報分野において画期的な進歩を遂げました。計算効率は従来の物理モデルと比べて10万倍も高く、過去25年間の高性能計算の進歩に匹敵します。機械学習と物理モデリングを組み合わせることで、NeuralGCMは地球の大気状況を迅速かつ正確にシミュレーションでき、特に2～15日後の天気予報においては、既存のモデルを上回る精度を示します。このモデルは実行速度と計算コストも大幅に向上しており、従来のモデルと比較して約3500倍高速化し、コストも削減されました。