先日、マスク氏はライブ配信で新型チャットボットGrok 3を発表し、そのモデルのトレーニングにかかった驚愕のコストを明らかにしました。Grok 3は現在、Premium + サブスクリプションユーザー向けに公開されており、複数の評価分野で優れたパフォーマンスを示し、Gemini、DeepSeek、ChatGPTなどの競合他社製品を上回っています。マスク氏によれば、Grok 3のトレーニングにはNVIDIA GPU 20万枚分もの膨大な計算資源が消費されたとのこと。この数字は衝撃的です。これ以前は…

大規模言語モデル（LLM）の急速な発展に伴い、モデルのトレーニングと推論コストが研究とアプリケーションの焦点となっています。最近、テンセント混元チームは重要な研究を発表し、低ビット浮動小数点量子化トレーニングの「Scaling Laws」、つまり浮動小数点量子化トレーニングのスケーリング則について深く掘り下げました。この研究の中核は、モデルの精度を下げることで、性能を損なうことなく計算とストレージコストを大幅に削減する方法を探ることです。研究チームは...

カリフォルニア大学バークレー校のSky Computing Labの研究チームNovaSkyは、金曜日にSky-T1-32B-Preview推論モデルを発表しました。このモデルは複数の主要なベンチマークテストで優れたパフォーマンスを示し、OpenAIのo1初期バージョンに匹敵します。さらに注目すべきは、その極めて低いトレーニングコストです。Sky-T1-32B-Previewは、真にオープンソースの推論モデルとしては初のものであり、NovaSkyチームはモデルだけでなく、トレーニングに使用されたデータセットと必要なトレーニングコードも公開しました。

CNBCの報道によると、サンフランシスコのAIスタートアップ企業Writerは水曜日に、OpenAIやAnthropicなどの企業が提供するエンタープライズ製品と競合する大規模なAIモデルを発表しました。注目すべきは、Writerが最新のモデルのトレーニングにデータとGPUを含めて約70万ドルしか費やしていない点です。競合他社のスタートアップは、独自のモデル構築に数百万ドルを費やしています。画像注記:画像はAIによって生成され、画像ライセンス提供サービスMidjourneyWriterを使用しています。

Hugging Faceは、「トレーニングクラスタ・アズ・ア・サービス」という新しいAIサービスを発表し、企業が大量の計算リソースを所有することなくAIモデルのトレーニングを可能にしました。ユーザーは、パラメータ、機能、トレーニングデータ量、速度に基づいて必要なモデルを価格計算機を使用して構成でき、価格は幅広く変動します。このサービスが提供されているにもかかわらず、GPT-4やGoogleのGeminiなどの最先端のAIモデルは依然として非常に高価で強力です。AIトレーニングのコストは、プロセッサ技術の進歩に伴って変化する可能性があります。