急速に発展する生成AI分野において、Nous Researchチームは独自の取り組みを行っています。世界中に分散配置されたマシンを活用し、15億パラメーターの大規模言語モデル（LLM）の事前学習を実施しているのです。これは、従来の高価で電力消費の激しいデータセンターやスーパーコンピュータークラスタでの集中型開発を回避する画期的な試みです。
Nous Researchは、専用ウェブサイトdistro.nousresearch.comでこの事前学習プロセスをライブ配信しており、様々な評価基準におけるモデルの性能をリアルタイムで公開しています。さらに、アメリカとヨーロッパの複数拠点に及ぶ訓練参加ハードウェアの位置を示す地図も提供しています。本稿執筆時点では、事前学習の残りの時間は約57時間（2.3日）で、既に75％以上の訓練が完了しています。
事前学習はLLMを訓練する最初の、そして最も基本的なステップです。大量のテキストデータを用いて、言語の統計的特性と構造を学習するプロセスです。この段階で、モデルは広範なテキストデータセットを処理することで、言語のパターン、文法、単語間の文脈関係を捉えます。このプロセスにより、モデルは言語に対する幅広い理解を備え、首尾一貫したテキストを生成し、様々な言語関連タスクを実行できるようになります。事前学習後、モデルは特定のタスクや分野に合わせて微調整されます。
この計画が成功すれば、Nous Researchは、高価なスーパーコンピュータークラスタや低遅延伝送なしでも、最先端レベルのLLMを訓練できることを証明することになります。これは、分散型AI訓練の新たな時代を告げるものと言えるでしょう。このオープンソースの訓練手法は、生成AIの勢力図を変える可能性があり、小規模なチームや企業以外の主体がこの分野でより多くの競争力を得られるようになります。
Nousが使用しているこの新しい技術は、Nous DisTrO（Distributed Training Over-the-Internet）と呼ばれ、事前学習プロセスにおけるGPU間の通信帯域幅の要求を削減することを目的としています。Nous Researchの最新の発表によると、DisTrOは通信要求を最大10,000倍削減し、比較的遅く、経済的なインターネット接続条件下でも、競争力のある収束率と損失曲線を維持できるとしています。
さらに、DisTrOの中核となるブレークスルーは、モデルの性能に影響を与えることなく、GPU間で交換されるデータ量を効果的に圧縮することです。この技術は、GPU間の通信要求を大幅に削減しつつ、訓練性能を維持することを目的とした、以前のデカップリングモーメント最適化アルゴリズム（DeMo）に基づいています。
ハードウェア面では、Nous Researchの事前学習プロセスは、Oracle、Lambda Labs、Northern Data Group、Crusoe Cloud、Andromeda Clusterなど、多くの著名なパートナー企業からサポートを受けており、必要な異種ハードウェアを提供し、実際の分散環境下でのDisTrOの能力を十分にテストしています。
ブログ入口:https://nousresearch.com/
要点：
🌐 Nous Researchは、15億パラメーターの大規模言語モデルの事前学習を目的とした、世界規模の分散型AI訓練を実施中。
💻 Nous DisTrO技術を使用することで、GPU間の通信帯域幅の要求を大幅に削減し、低コストでの訓練を可能に。
🤝 多数のハードウェアベンダーの支援を受け、分散型AI研究の進歩を推進。
