INTELLECT-1-Instructは、Prime Intellectによってトレーニングされた10億パラメーターの言語モデルです。1兆個の英語テキストとコードトークンでゼロからトレーニングされました。このモデルはテキスト生成をサポートし、分散型トレーニング機能を備えており、信頼性が低いグローバルに分散されたワーカー上でも高性能なトレーニングが可能です。DiLoCoアルゴリズムを使用してトレーニングされ、カスタムのint8 all-reduceカーネルを使用して通信負荷を削減することで、通信オーバーヘッドを大幅に削減しています。このモデルの背景情報として、30人の独立したコミュニティ貢献者から計算サポートを受け、3大陸の14個の並列ノードでトレーニングされたことが挙げられます。