Qwen2.5-Coder est la dernière série de grands modèles linguistiques Qwen, spécialement conçue pour la génération, le raisonnement et la correction de code. Ce modèle, basé sur Qwen2.5, a bénéficié d'un entraînement étendu à 5,5 billions de jetons, incluant du code source, des bases de code textuelles et des données synthétiques. Qwen2.5-Coder-32B est actuellement l'un des meilleurs modèles LLM open source pour le codage, ses capacités de codage étant comparables à celles de GPT-4o. Ce modèle est un modèle Qwen2.5-Coder de 3 milliards de paramètres, quantifié GPTQ 4 bits et optimisé pour les instructions. Il se caractérise par son architecture de modèle linguistique causal, ses phases d'entraînement pré- et post-entraînement, et son architecture transformers.