Qwen2.5-Coder es la última serie de modelos de lenguaje extenso Qwen, especializada en la generación, inferencia y corrección de código. Basado en el potente Qwen2.5, esta serie de modelos ha mejorado significativamente la capacidad de generación, inferencia y corrección de código al aumentar los tokens de entrenamiento a 5,5 billones, incluyendo código fuente, código textual contextualizado y datos sintéticos. Qwen2.5-Coder-3B es un modelo de esta serie con 3.09B de parámetros, 36 capas, 16 cabezales de atención (Q) y 2 cabezales de atención (KV), con una longitud de contexto de 32.768 tokens. Este modelo es actualmente uno de los mejores LLM de código abierto, con una capacidad de codificación comparable a GPT-4o, proporcionando a los desarrolladores una potente herramienta de asistencia para la codificación.