A plataforma Bailian da Alibaba Cloud anunciou recentemente o lançamento do modelo de texto longo Qwen2.5-Turbo, com capacidade para milhões de tokens. Desenvolvido pela equipe Tongyi Qianwen, o modelo Qwen2.5-Turbo suporta contextos extra longos de até 1 milhão de tokens, equivalente a 1 milhão de palavras em inglês ou 1,5 milhão de caracteres chineses.
Esta nova versão do modelo atingiu 100% de precisão em tarefas de recuperação de texto longo e obteve uma pontuação de 93,1 no conjunto de avaliação de texto longo RULER, superando o GPT-4. Em tarefas de texto longo próximas a cenários reais, como LV-Eval e LongBench-Chat, o Qwen2.5-Turbo superou o GPT-4o-mini na maioria das dimensões. Em testes de referência de texto curto, o Qwen2.5-Turbo também apresentou um desempenho excepcional, superando significativamente os modelos open source anteriores com comprimento de contexto de 1 milhão de tokens.
O modelo Qwen2.5-Turbo possui amplas aplicações, incluindo compreensão profunda de romances, assistência em larga escala para codificação, leitura de múltiplas pesquisas, etc. Ele pode processar simultaneamente 10 romances longos, 150 horas de discursos ou 30.000 linhas de código. Em termos de velocidade de inferência, a equipe Tongyi Qianwen, através do mecanismo de atenção esparsa, comprimiu a quantidade de cálculos em aproximadamente 12,5 vezes, reduzindo o tempo de retorno do primeiro caractere para contextos de 1 milhão de tokens de 4,9 minutos para 68 segundos, representando uma melhoria de velocidade de 4,3 vezes.
A plataforma Bailian da Alibaba Cloud oferece a todos os usuários a capacidade de chamar diretamente a API do Qwen2.5-Turbo, com uma oferta limitada de 10 milhões de tokens. O custo subsequente para o uso de milhões de tokens será de apenas 0,3 yuans.
Atualmente, a plataforma Bailian da Alibaba Cloud já lançou mais de 200 modelos de IA de código aberto e fechado, nacionais e internacionais, incluindo Qwen, Llama e ChatGLM, permitindo que os usuários os chamem diretamente, treinem, façam ajustes finos ou criem aplicativos RAG.