Qwen2.5-Coder é uma série de modelos de linguagem grandes Qwen projetados especificamente para geração de código, incluindo seis tamanhos de modelos principais com 0,5, 1,5, 3, 7, 14 e 32 bilhões de parâmetros, para atender às necessidades de diferentes desenvolvedores. Este modelo apresenta melhorias significativas na geração, raciocínio e reparação de código. Baseado no poderoso Qwen2.5, o treinamento de tokens foi expandido para 5,5 trilhões, incluindo código-fonte, base de código de texto, dados sintéticos, etc. O Qwen2.5-Coder-32B é atualmente o modelo de linguagem grande de código aberto mais avançado para geração de código, com capacidade de codificação comparável ao GPT-4o. Ele não apenas aprimora a capacidade de codificação, mas também mantém suas vantagens em matemática e capacidades gerais, e suporta contextos longos de até 128K tokens.