Recentemente, a comunidade ModelScope colaborou com o vLLM e o FastChat para fornecer aos desenvolvedores chineses serviços de inferência e implantação de LLM mais rápidos e eficientes. Os desenvolvedores podem usar o vLLM como mecanismo de inferência no FastChat, fornecendo inferência de modelo de alta taxa de transferência. O FastChat é uma plataforma aberta para treinar, servir e avaliar ChatBots baseados em LLM. O vLLM é um sistema de serviço LLM desenvolvido por pesquisadores da Universidade da Califórnia, Berkeley, Universidade de Stanford e Universidade da Califórnia, San Diego. Por meio do FastChat e do vLLM, os desenvolvedores podem carregar rapidamente os modelos do ModelScope para inferência.