アマゾンAWSは最近、Amazon EC2 Capacity Blocksという新しいサービスを発表しました。これは、ホテルの部屋を予約するような感覚で、Nvidia H100 GPUを事前に予約できるサービスです。予約期間は最長14日間です。
このサービスは、機械学習や深層学習プロジェクトにおける高性能GPU需要の圧力を効果的に軽減します。ユーザーはプロジェクト計画やリソース需要に合わせて、1～64個のGPUインスタンスを柔軟に調達できます。各インスタンスにはNvidia H100 GPUが8個搭載されています。
予約期間中は、実際に使用したGPUリソースの時間に対してのみ料金が発生します。GPUインスタンスの価格は、需要と供給の関係に応じて動的に変動します。
このサービスはまずAWS米国東部リージョンで開始され、今後他のリージョンにも展開される予定です。
業界関係者は、この革新的なオンデマンドGPU購入方法は、高価なGPUリソースの使用効率を向上させ、AIプロジェクトの計算コストを削減できると考えています。
アメリカのテクノロジー企業Nvidiaは最近、イスラエルのソフトウェア企業Run:aiの買収を完了しました。両社の協力により、AIクラウドコンピューティングの管理効率がさらに向上します。買収額は公表されていませんが、報道によると約7億ドルとのことです。Nvidiaは、AIエコシステムをより幅広くサポートするために、Run:aiのソフトウェアをオープンソース化すると発表しました。Run:aiの中核ソフトウェアは、顧客がNvidia GPUリソースを効率的にスケジュールし、AI演算を最適化することを支援します。
OpenAIエンジニアリングチームマネージャーであるEvan Morikawa氏が、ChatGPTの成功事例について共有します。エンジニアリングチームはハッカーの創意工夫ある反応（ChatGPTをCatGPTに変更し、猫の鳴き声のみを返す）にも対応。GPUリソースの最適化はChatGPTにおける重要な課題でした。地域を跨いでの展開と、下層の実装の詳細な分析により、GPU供給不足への対応を図りました。ChatGPTチームは、独立系スタートアップ企業モデルを採用することで、デリバリー速度の向上を実現しています。
