DeepEP
DeepEPは、Mixture-of-Expertsと専門家並列通信のための効率的な通信ライブラリです。
プレミアム新製品プログラミングディープラーニング混合専門家モデル
DeepEPは、混合専門家モデル(MoE)と専門家並列処理(EP)用に設計された通信ライブラリです。高スループットと低遅延の全結合GPUカーネルを提供し、低精度演算(FP8など)をサポートしています。非対称ドメイン帯域幅転送向けに最適化されており、プリフェッチタスクのトレーニングと推論に適しています。さらに、ストリームプロセッサ(SM)数の制御をサポートし、フックベースの通信計算オーバーラップ手法を導入しており、SMリソースを消費しません。DeepEPの実装はDeepSeek-V3論文とは多少異なりますが、最適化されたカーネルと低遅延設計により、大規模分散トレーニングと推論タスクで優れたパフォーマンスを発揮します。
DeepEP 最新のトラフィック状況
月間総訪問数
474564576
直帰率
36.20%
平均ページ/訪問
6.1
平均訪問時間
00:06:34