ReDrafter

NVIDIA GPU上でLLM推論を加速する革新的技術

一般製品生産性NVIDIA GPULLM推論
ReDrafterは、RNN下書きモデルと動的ツリー注意力機構を組み合わせることで、大規模言語モデル(LLM)のNVIDIA GPU上での推論速度を大幅に向上させる、斬新な推測的デコード手法です。この技術はLLMのトークン生成を高速化し、ユーザーが経験する可能性のある遅延を削減するだけでなく、GPUの使用量とエネルギー消費量も削減します。ReDrafterはApple機械学習研究チームによって開発され、NVIDIAとの連携によりNVIDIA TensorRT-LLM推論加速フレームワークに統合され、NVIDIA GPUを使用する機械学習開発者により高速なトークン生成能力を提供します。
ウェブサイトを開く

ReDrafter 最新のトラフィック状況

月間総訪問数

197433

直帰率

73.71%

平均ページ/訪問

2.1

平均訪問時間

00:00:47

ReDrafter 訪問数の傾向

ReDrafter 訪問地理的分布

ReDrafter トラフィックソース