阿里云百炼平台近日宣布上线了Qwen2.5-Turbo百万长文本模型,Qwen2.5-Turbo模型由通义千问团队开发,支持处理高达100万tokens的超长上下文,相当于100万个英文单词或150万个汉字。
这一新版本的模型在长文本检索任务中的准确率达到100%,并在长文本评测集RULER上获得93.1分,超越了GPT-4。在LV-Eval、LongBench-Chat等接近真实场景的长文本任务中,Qwen2.5-Turbo在多数维度上超越了GPT-4o-mini。在短文本基准测试中,Qwen2.5-Turbo的表现也非常出色,显著超越了之前上下文长度为1M tokens的开源模型。
Qwen2.5-Turbo模型的应用场景广泛,包括长篇小说深入理解、大规模代码助手、多篇论文阅读等,能够一次性处理10本长篇小说、150小时的演讲稿或3万行代码。在推理速度方面,通义千问团队通过稀疏注意力机制将计算量压缩了约12.5倍,将处理1M tokens上下文的首字返回时间从4.9分钟降低到68秒,实现了4.3倍的速度提升。
阿里云百炼平台为所有用户提供了直接调用Qwen2.5-Turbo API的能力,并限时赠送1000万tokens额度。后续使用百万tokens的成本仅为0.3元。
目前,阿里云百炼平台已上线包括Qwen、Llama、ChatGLM在内的超200款国内外主流开源和闭源大模型,支持用户直接调用、训练微调或打造RAG应用。