Das Tongyi Qianwen-Team gab kürzlich die Open-Source-Veröffentlichung seiner neuesten Qwen2.5-Coder-Modellreihe bekannt. Dieses Vorhaben zielt darauf ab, die Entwicklung von Open-Code-LLMs voranzutreiben. Qwen2.5-Coder zeichnet sich durch seine Leistungsfähigkeit, Vielseitigkeit und Praktikabilität aus.
Das Qwen2.5-Coder-32B-Instruct-Modell erreicht im Bereich der Code-Fähigkeiten einen State-of-the-Art-Level (SOTA) und ist mit GPT-4o vergleichbar. Es zeigt umfassende Fähigkeiten, darunter Codegenerierung, Codekorrektur und Code-Inferenz. Es erzielte in mehreren Codegenerierungs-Benchmarks die besten Ergebnisse und erreichte im Aider-Benchmark 73,7 Punkte – vergleichbar mit GPT-4o.
Qwen2.5-Coder unterstützt über 40 Programmiersprachen und erreicht auf McEval einen Score von 65,9 Punkten, wobei die Leistung in Sprachen wie Haskell und Racket besonders hervorzuheben ist. Dies ist auf die einzigartige Datenbereinigung und -abstimmung in der Pre-Training-Phase zurückzuführen. Darüber hinaus zeigt Qwen2.5-Coder-32B-Instruct auch bei der Codekorrektur in mehreren Programmiersprachen hervorragende Leistungen und erreicht im MdEval-Benchmark mit 75,2 Punkten den ersten Platz.
Um die Übereinstimmung von Qwen2.5-Coder-32B-Instruct mit menschlichen Präferenzen zu überprüfen, wurde ein interner, annotierter Code-Präferenz-Bewertungsbenchmark, Code Arena, erstellt. Die Ergebnisse zeigen, dass Qwen2.5-Coder-32B-Instruct im Hinblick auf die Präferenz-Ausrichtung Vorteile bietet.
Die jetzt Open-Source-veröffentlichte Qwen2.5-Coder-Reihe umfasst vier Modellgrößen: 0,5B/3B/14B/32B. Dies deckt die sechs gängigsten Modellgrößen ab und erfüllt die Anforderungen verschiedener Entwickler. Es werden Base- und Instruct-Modelle angeboten. Erstere dienen Entwicklern als Basis für das Feintuning, letztere sind die vom Team abgestimmten Chat-Modelle. Zwischen Modellgröße und Leistung besteht ein positiver Zusammenhang; Qwen2.5-Coder erreicht in allen Größen SOTA-Ergebnisse.
Die Qwen2.5-Coder-Modelle 0,5B/1,5B/7B/14B/32B verwenden die Apache2.0-Lizenz, während das 3B-Modell unter der Research Only-Lizenz steht. Das Team hat durch die Bewertung der Leistung verschiedener Größen von Qwen2.5-Coder auf allen Datensätzen die Wirksamkeit von Skalierung bei Code-LLMs bestätigt.
Die Open-Source-Veröffentlichung von Qwen2.5-Coder bietet Entwicklern eine leistungsstarke, vielseitige und praktische Auswahl an Programmiermodellen und trägt zur Förderung der Entwicklung und Anwendung von Programmiersprachenmodellen bei.
Qwen2.5-Coder Modell-Link:
https://modelscope.cn/collections/Qwen25-Coder-9d375446e8f5814a
