L'équipe de Tongyi Qianwen a récemment annoncé la publication en open source de sa toute dernière série de modèles Qwen2.5-Coder. Cette initiative vise à stimuler le développement des modèles linguistiques de grande taille (LLM) dédiés au code. Qwen2.5-Coder attire l'attention grâce à sa puissance, sa polyvalence et son utilité.
Le modèle Qwen2.5-Coder-32B-Instruct atteint un niveau de performance optimal (SOTA) en matière de compétences en codage, rivalisant avec GPT-4o. Il démontre des capacités complètes, notamment la génération de code, la correction de code et le raisonnement sur le code. Il a obtenu les meilleurs résultats dans plusieurs tests de référence de génération de code et a atteint un score de 73,7 au benchmark Aider, comparable à celui de GPT-4o.
Qwen2.5-Coder prend en charge plus de 40 langages de programmation et a obtenu un score de 65,9 sur McEval, avec des performances particulièrement remarquables pour des langages comme Haskell et Racket. Ceci est dû à un processus unique de nettoyage et d'appariement des données lors de la phase de pré-entraînement. De plus, Qwen2.5-Coder-32B-Instruct excelle également dans la correction de code multi-langages, obtenant un score de 75,2 au benchmark MdEval, se classant ainsi premier.
Afin de vérifier l'alignement des préférences humaines du modèle Qwen2.5-Coder-32B-Instruct, un benchmark interne d'évaluation des préférences de code, appelé Code Arena, a été créé. Les résultats montrent que Qwen2.5-Coder-32B-Instruct présente un avantage en termes d'alignement des préférences.
Cette publication en open source de la série Qwen2.5-Coder comprend quatre tailles de modèles : 0,5B / 3B / 14B / 32B, couvrant six tailles de modèles principales pour répondre aux besoins des différents développeurs. Deux types de modèles sont proposés : Base et Instruct. Le premier sert de base pour l'ajustement fin par les développeurs, tandis que le second est un modèle de conversation aligné officiellement. Il existe une corrélation positive entre la taille du modèle et ses performances, Qwen2.5-Coder affichant des performances SOTA pour toutes les tailles.
Les modèles Qwen2.5-Coder 0,5B/1,5B/7B/14B/32B sont sous licence Apache2.0, tandis que le modèle 3B est sous licence Research Only. L'équipe a évalué les performances de différentes tailles de Qwen2.5-Coder sur tous les ensembles de données, ce qui a permis de valider l'efficacité du scaling pour les LLM de code.
La publication en open source de Qwen2.5-Coder offre aux développeurs un choix de modèles de programmation puissants, polyvalents et pratiques, contribuant ainsi à faire progresser le développement et les applications des modèles de langages de programmation.
Lien vers les modèles Qwen2.5-Coder :
https://modelscope.cn/collections/Qwen25-Coder-9d375446e8f5814a
