En los últimos años, los grandes modelos de lenguaje (LLM) han tenido un impacto cada vez mayor en la vida y las profesiones de las personas. La biblioteca de aprendizaje automático de código abierto vLLM mejora la velocidad de inferencia de los LLM mediante el algoritmo PagedAttention, gestionando eficazmente la memoria caché de clave-valor y aumentando el rendimiento. Equipado con PagedAttention, vLLM alcanza el nivel óptimo de servicio LLM sin necesidad de modificar la arquitectura del modelo. Los investigadores descubrieron que vLLM aumenta el rendimiento de los LLM conocidos entre 2 y 4 veces en comparación con otros sistemas.