ReDrafter es un novedoso método de decodificación predictiva que combina un modelo de borrador RNN y un mecanismo de atención de árbol dinámico para mejorar significativamente la velocidad de inferencia de los modelos lingüísticos grandes (LLM) en las GPU NVIDIA. Esta tecnología acelera la generación de tokens de LLM, reduciendo la latencia percibida por el usuario, a la vez que disminuye el consumo de GPU y energía. Desarrollado por el equipo de investigación de aprendizaje automático de Apple y en colaboración con NVIDIA para su integración en el marco de aceleración de inferencia NVIDIA TensorRT-LLM, ReDrafter ofrece a los desarrolladores de aprendizaje automático que utilizan GPU NVIDIA una capacidad de generación de tokens más rápida.