Qwen2.5-Coder est la dernière série de grands modèles linguistiques Qwen, spécialisée dans la génération, le raisonnement et la correction de code. Basé sur le puissant Qwen2.5, ce modèle a été entraîné sur 5,5 billions de lignes de code source, de code textuel et de données synthétiques, représentant l'état de l'art actuel des modèles linguistiques de code open source. Il rivalise avec GPT-4o en termes de capacités de programmation, tout en conservant un avantage en mathématiques et en capacités générales. Le modèle Qwen2.5-Coder-0.5B-Instruct-GPTQ-Int4 est un modèle ajusté par instructions et quantifié GPTQ à 4 bits, caractérisé par une architecture de modèle linguistique causal, un pré-entraînement et un entraînement postérieur, et une architecture transformers.