ReDrafter é um método de decodificação preditiva inovador que combina um modelo de rascunho RNN com um mecanismo de atenção de árvore dinâmica, melhorando significativamente a velocidade de inferência de grandes modelos de linguagem (LLM) em GPUs NVIDIA. Essa tecnologia acelera a geração de tokens de LLM, reduzindo a latência percebida pelo usuário e diminuindo o uso de GPU e o consumo de energia. Desenvolvido pela equipe de pesquisa de aprendizado de máquina da Apple e integrado à estrutura de aceleração de inferência NVIDIA TensorRT-LLM em colaboração com a NVIDIA, o ReDrafter oferece aos desenvolvedores de aprendizado de máquina que usam GPUs NVIDIA a capacidade de gerar tokens mais rapidamente.