ReDrafter
NVIDIA GPU上でLLM推論を加速する革新的技術
一般製品生産性NVIDIA GPULLM推論
ReDrafterは、RNN下書きモデルと動的ツリー注意力機構を組み合わせることで、大規模言語モデル(LLM)のNVIDIA GPU上での推論速度を大幅に向上させる、斬新な推測的デコード手法です。この技術はLLMのトークン生成を高速化し、ユーザーが経験する可能性のある遅延を削減するだけでなく、GPUの使用量とエネルギー消費量も削減します。ReDrafterはApple機械学習研究チームによって開発され、NVIDIAとの連携によりNVIDIA TensorRT-LLM推論加速フレームワークに統合され、NVIDIA GPUを使用する機械学習開発者により高速なトークン生成能力を提供します。
ReDrafter 最新のトラフィック状況
月間総訪問数
197433
直帰率
73.71%
平均ページ/訪問
2.1
平均訪問時間
00:00:47