急速に発展する生成系AI分野において、Nous Researchチームは独自の取り組みを行っています。彼らは世界中に分散配置されたマシンを活用し、15億パラメーターの大規模言語モデル（LLM）の事前学習を実施しています。これは、従来の高価で電力消費量の多いデータセンターやスーパーコンピューターでの集中型開発を回避するものです。Nous Researchは、専用のウェブサイトdistro.nousresearch.comでこの事前学習プロセスを生中継し、リアルタイムで公開しています。

Nous Researchチームは、分散型インターネットトレーニングにおける情報伝達ニーズを削減し、AIモデルトレーニングの効率を大幅に向上させることを目的とした、DisTrOという新しい最適化器を発表しました。DisTrOは一般的なネットワーク環境下でトレーニングが可能であり、世界中の個人や機関が自身のコンピューターを使用してAI開発に参加することを可能にし、大企業によるAIトレーニングの独占を打破します。従来のアルゴリズムであるAll-Reduceと比較して、DisTrOの効率は最大857倍向上し、トレーニングステップ毎に…

わずか10名からなるスタートアップ企業Nous Researchが、Hermes3というAIモデルでメタのような巨大テクノロジー企業に挑戦しています。Llama 3.1を基に微調整されたHermes3は、VRAMとディスクの要件を最適化し、単一ノードで動作可能な強力なモデルです。会話能力、テキスト理解の質、そしてエージェント統合能力において優れたパフォーマンスを発揮し、従来の言語モデルを超える高度な能力を示しています。Nous Researchはオープンソースに注力しています。