今天凌晨，阿里巴巴通义千问团队发布了Qwen2系列开源模型。该系列模型包括5个尺寸的预训练和指令微调模型:Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B以及Qwen2-72B。关键信息显示，这些模型的参数数量和性能较前一代 Qwen1.5有显著提升。

对于模型的多语言能力，Qwen2系列投入了大量精力增加数据集的数量和质量，覆盖英语和中文以外的27种其他语言。经过对比测试，大型模型（70B + 参数）在自然语言理解、编码、数学能力等方面表现出色，Qwen2-72B 模型更在性能和参数数量方面超越前一代。

Qwen2模型不仅在基础语言模型评估中展现出强大的能力，还在指令调优模型评估中获得令人瞩目的成绩。其多语言能力在 M-MMLU 和 MGSM 等基准测试中表现出众，展现出 Qwen2指令调优模型的强大潜力。

此次发布的 Qwen2系列模型标志着人工智能技术的新高度，为全球 AI 应用和商业化提供了更广阔的可能性。展望未来，Qwen2将进一步扩展模型规模和多模式能力，加速推动开源 AI 领域的发展。

模型信息

Qwen2系列包含5种尺寸的基础和指令调优型号，包括Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B、Qwen2-72B。我们在下表中说明了各型号的关键信息:

具体来说，之前在 Qwen1.5中，只有 Qwen1.5-32B 和 Qwen1.5-110B 采用了 Group Query Attention（GQA）。这次，我们针对所有模型大小都应用了 GQA，以便它们在模型推理中享受更快的速度和更少内存占用的好处。对于小模型，我们更喜欢应用 tying embedding，因为大型稀疏 embedding 占了模型总参数的很大一部分。

在上下文长度方面，所有基础语言模型均已在32K 个 token 的上下文长度数据上进行了预训练，我们在 PPL 评估中观察到高达128K 的令人满意的外推能力。但是，对于指令调整模型，我们并不满足于仅仅进行 PPL 评估;我们需要模型能够正确理解长上下文并完成任务。在表中，我们列出了指令调整模型的上下文长度能力，这些能力是通过对 Needle in a Haystack任务的评估来评估的。值得注意的是，当使用 YARN 进行增强时，Qwen2-7B-Instruct 和 Qwen2-72B-Instruct 模型都表现出令人印象深刻的能力，可以处理高达128K 个 token 的上下文长度。

我们付出了巨大的努力来增加预训练和指令调整数据集的数量和质量，这些数据集涵盖了英语和中文以外的多种语言，以增强其多语言能力。尽管大型语言模型具有推广到其他语言的固有能力，但我们明确强调在我们的训练中加入了27种其他语言:

此外，我们投入了大量精力来解决多语言评估中经常出现的代码转换问题。因此，我们的模型处理这种现象的能力显著提高。使用通常会引发跨语言代码转换的提示进行的评估证实，相关问题显著减少。

表现

对比测试结果显示，大规模模型（70B+参数）的性能相比Qwen1.5有大幅提升。本次测试以大规模模型Qwen2-72B为中心。在基础语言模型方面，我们对比了Qwen2-72B和当前最佳的开放模型在自然语言理解、知识获取、编程能力、数学能力、多语言能力等能力方面的性能。得益于精心挑选的数据集和优化的训练方法，Qwen2-72B的表现优于Llama-3-70B等领先模型，在参数数量较少的情况下，其性能甚至超过了上一代Qwen1.5-110B。

在进行大量大规模预训练之后，我们进行后训练，以进一步增强 Qwen 的智能，使其更接近人类。此过程进一步提高了模型在编码、数学、推理、指令遵循、多语言理解等领域的能力。此外，它使模型的输出与人类价值观保持一致，确保其有用、诚实且无害。我们的后训练阶段采用可扩展训练和最少人工注释的原则设计。具体而言，我们研究如何通过各种自动对齐策略获得高质量、可靠、多样化和创造性的演示数据和偏好数据，例如数学的拒绝抽样、编码和指令遵循的执行反馈、创意写作的反向翻译、角色扮演的可扩展监督等。至于训练，我们采用了监督微调、奖励模型训练和在线 DPO 训练的组合。我们还采用了一种新颖的在线合并优化器来最大限度地减少对齐税。这些共同努力大大提高了我们模型的能力和智能，如下表所示。

我们对 Qwen2-72B-Instruct 进行了全面评估，涵盖了各个领域的16个基准测试。Qwen2-72B-Instruct 在获得更好的能力和与人类价值观保持一致之间取得了平衡。具体来说，Qwen2-72B-Instruct 在所有基准测试中都明显优于 Qwen1.5-72B-Chat，并且与 Llama-3-70B-Instruct 相比也达到了具有竞争力的性能。

在较小的模型上，我们的 Qwen2模型也优于类似甚至更大尺寸的 SOTA 模型。与刚刚发布的 SOTA 模型相比，Qwen2-7B-Instruct 仍然在各个基准测试中表现出优势，特别是在编码和中文相关指标上表现出色。

强调

编码与数学

我们一直致力于提升 Qwen 的高级功能，特别是在编码和数学方面。在编码方面，我们成功整合了CodeQwen1.5的代码训练经验和数据，从而使 Qwen2-72B-Instruct 在各种编程语言方面取得了显著的改进。在数学方面，通过利用广泛且高质量的数据集，Qwen2-72B-Instruct 在解决数学问题方面体现出了更强的能力。

长上下文理解

在 Qwen2中，所有指令调整模型都在32k 长度上下文中进行了训练，并使用YARN或Dual Chunk Attention等技术推断到更长的上下文长度。

下图是我们在Needle in a Haystack上的测试结果，值得注意的是，Qwen2-72B-Instruct 能够完美处理128k 上下文中的信息提取任务，再加上其与生俱来的强大性能，在资源充足的情况下，它成为处理长文本任务的首选。

此外，值得注意的是该系列其他型号的令人印象深刻的功能:Qwen2-7B-Instruct 几乎完美地处理长达128k 的上下文，Qwen2-57B-A14B-Instruct 管理长达64k 的上下文，而该系列中的两个较小的型号支持32k 的上下文。

除了长上下文模型之外，我们还开源了一个代理解决方案，用于高效处理包含多达100万个标记的文档。有关更多详细信息，请参阅我们关于此主题的专门博客文章。

安全与责任

下表展示了大型模型针对四类多语言不安全查询（非法活动、欺诈、色情、隐私暴力）产生的有害响应占比。测试数据来自Jailbreak，并翻译成多种语言进行评估。我们发现 Llama-3无法有效处理多语言提示，因此未将其纳入比较范围。通过显著性检验(P_value)，我们发现 Qwen2-72B-Instruct 模型在安全性方面的表现与 GPT-4相当，并且显著优于 Mistral-8x22B 模型。

使用 Qwen2进行开发

目前所有模型均已在 Hugging Face 和 ModelScope 中发布，欢迎访问模型卡查看详细使用方法，并进一步了解每个模型的特性、性能等信息。

长期以来，有很多朋友支持着 Qwen 的发展，包括微调（Axolotl、Llama-Factory、Firefly、Swift、XTuner）、量化(AutoGPTQ、AutoAWQ、Neural Compressor)、部署(vLLM、SGL、SkyPilot、TensorRT-LLM、OpenVino、TGI)、API 平台(Together、Fireworks、OpenRouter)、本地运行(MLX、Llama.cpp、Ollama、LM Studio)、Agent 和 RAG 框架(LlamaIndex、CrewAI、OpenDevin)、评估(LMSys、OpenCompass、Open LLM Leaderboard)、模型训练(Dolphin、Openbuddy)等。关于如何将 Qwen2与第三方框架一起使用，请参考各自的文档以及我们的官方文档。

还有很多团队和个人为 Qwen 做出了贡献，我们并没有提及。我们衷心感谢他们的支持，并希望我们的合作能够促进开源 AI 社区的研究和发展。

执照

这次，我们将模型的许可改为不同的。Qwen2-72B 及其指令调优模型仍使用原有的 Qianwen License，而其他所有模型，包括 Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B 和 Qwen2-57B-A14B，均转而采用Apache2.0!我们相信，我们模型对社区的进一步开放可以加速 Qwen2在全球的应用和商业化。

Qwen2的下一步是什么?

我们正在训练更大的 Qwen2模型，以进一步探索模型扩展以及我们最近的数据扩展。此外，我们将 Qwen2语言模型扩展为多模式，能够理解视觉和音频信息。在不久的将来，我们将继续开源新模型以加速开源 AI。敬请期待!

引用

我们即将发布 Qwen2的技术报告。欢迎引用!

@article{qwen2，

附录

基础语言模型评估

基础模型的评测主要关注自然语言理解、一般问答、编码、数学、科学知识、推理、多语言能力等模型性能。

评估的数据集包括:

英语任务:MMLU（5次）、MMLU-Pro(5次)、GPQA(5次)、Theorem QA(5次)、BBH(3次)、HellaSwag(10次)、Winogrande(5次)、TruthfulQA(0次)、ARC-C(25次)

编码任务:EvalPlus（0-shot）(HumanEval、MBPP、HumanEval+、MBPP+)、MultiPL-E(0-shot)(Python、C++、JAVA、PHP、TypeScript、C#、Bash、JavaScript)

数学任务:GSM8K （4次）、MATH (4次)

中文任务:C-Eval（5-shot）、CMMLU (5-shot)

多语言任务:多考试（M3Exam5次、IndoMMLU3次、ruMMLU5次、mMMLU5次）、多理解(BELEBELE5次、XCOPA5次、XWinograd5次、XStoryCloze0次、PAWS-X5次)、多数学(MGSM8次)、多翻译(Flores-1015次)

Qwen2-72B 性能

Qwen2-57B-A14B

Qwen2-7B

Qwen2-0.5B 和 Qwen2-1.5B

指令调整模型评估

Qwen2-72B-指导

Qwen2-57B-A14B-指导

Qwen2-7B-指导

Qwen2-0.5B-Instruct 和 Qwen2-1.5B-Instruct

指令调整模型的多语言能力

我们在几个跨语言开放基准以及人工评估中将 Qwen2指令调整模型与其他最近的 LLM 进行了比较。对于基准，我们在2个评估数据集上展示了结果:

• Okapi 的M-MMLU:多语言常识评估（我们用 ar、de、es、fr、it、nl、ru、uk、vi、zh 的子集进行评估）
• MGSM:对德语、英语、西班牙语、法语、日语、俄语、泰国语、中文和巴西语等语言进行数学评估

结果根据每个基准测试的语言平均得出，如下所示:

对于人工评估，我们使用内部评估集将 Qwen2-72B-Instruct 与 GPT3.5、GPT4和 Claude-3-Opus 进行比较，其中包括10种语言 ar、es、fr、ko、th、vi、pt、id、ja 和 ru（分数范围从1~5）:

按任务类型分组，结果如下:

这些结果证明了 Qwen2指令调整模型强大的多语言能力。