在大语言模型逐渐普及的今天，如何在资源受限的环境中实现高效部署已成为重要课题。为了解决这一挑战，基于 Qwen2.5的轻量化大模型系列 DistilQwen2.5正式发布。该模型采用了创新的双层蒸馏框架，通过优化数据和参数融合技术，不仅保留了模型的性能，同时显著降低了计算资源的消耗。DistilQwen2.5的成功得益于其独特的知识蒸馏技术。这一过程首先需要大量高质量的指令数据，这些数据来自多个开源数据集及私有合成数据集。为确保数据的多样性，研究团队通过 Qwen-max 扩展了中英文数据