Qwen2.5-Coder est la dernière série de grands modèles linguistiques Qwen, axée sur la génération de code, le raisonnement de code et la correction de code. Basé sur le puissant Qwen2.5, cette série de modèles a considérablement amélioré ses capacités de génération, de raisonnement et de correction de code grâce à l'augmentation du nombre de jetons d'entraînement à 5,5 billions, incluant du code source, des données textuelles ancrées au code et des données synthétiques. Qwen2.5-Coder-3B est un modèle de cette série, doté de 3,09 milliards de paramètres, 36 couches, 16 têtes d'attention (Q) et 2 têtes d'attention (KV), et une longueur de contexte de 32 768 jetons. Ce modèle est l'un des meilleurs modèles de code LLM open source, avec des capacités de codage comparables à GPT-4o, offrant aux développeurs un puissant outil d'assistance au code.