Nos últimos anos, os modelos de linguagem grandes têm tido um impacto cada vez maior na mudança das vidas e carreiras das pessoas. A biblioteca de aprendizado de máquina de código aberto vLLM melhora a velocidade de inferência de modelos de linguagem grandes por meio do algoritmo PagedAttention, gerenciando eficientemente a memória cache de chave-valor e aumentando a taxa de transferência. Equipado com o PagedAttention, o vLLM atinge o melhor nível de serviço LLM sem alterar a arquitetura do modelo. Os pesquisadores descobriram que o vLLM aumentou a taxa de transferência em LLMs conhecidos em 2 a 4 vezes em comparação com outros sistemas.