Qwen2.5-Coder ist eine Reihe von Qwen-Großsprachmodellen, die speziell für die Codegenerierung entwickelt wurden. Sie umfasst sechs gängige Modellgrößen mit 0,5, 1,5, 3, 7, 14 und 32 Milliarden Parametern, um den Bedürfnissen verschiedener Entwickler gerecht zu werden. Das Modell weist erhebliche Verbesserungen in den Bereichen Codegenerierung, Code-Inferenz und Code-Reparatur auf. Basierend auf dem leistungsstarken Qwen2.5 wurde das Training auf 5,5 Billionen Token erweitert, darunter Quellcode, textbasierte Code-Grundlagen und synthetische Daten. Qwen2.5-Coder-32B ist derzeit das fortschrittlichste Open-Source-Großsprachemodell für die Codegenerierung und seine Codierfähigkeiten entsprechen denen von GPT-4o. Es verbessert nicht nur die Codierfähigkeiten, sondern behält auch seine Stärken in Mathematik und allgemeinen Fähigkeiten bei und unterstützt lange Kontexte mit bis zu 128.000 Token.