AIの世界では、力技が万能のように思われています。モデルが大きくなればなるほど、データが多くなればなるほど、計算能力が強くなればなるほど、まるで知性の聖杯に近づけるかのように感じます。しかし、この急激な発展の裏には、膨大なコストとエネルギー消費の問題が潜んでいます。AIの学習をより効率的にするために、科学者たちはより強力な最適化器を探し続けています。まるでコーチのように、モデルのパラメータを絶えず最適化し、最終的に最適な状態に導くのです。AdamWはTransformer事前学習のデフォルト最適化器として、長年業界のベンチマークとなっています。