Qwen2.5-Coder ist die neueste Serie von großen Sprachmodellen von Qwen, die sich auf Codegenerierung, Code-Inferenz und Code-Reparatur konzentriert. Basierend auf dem leistungsstarken Qwen2.5 wurde die Modellserie durch die Erhöhung der Trainingstoken auf 5,5 Billionen, einschließlich Quellcode, Text-Code-Grounding und synthetischen Daten, deutlich verbessert, was die Fähigkeiten zur Codegenerierung, -Inferenz und -Reparatur signifikant steigert. Qwen2.5-Coder-3B ist ein Modell dieser Serie mit 3,09 Milliarden Parametern, 36 Schichten, 16 Attention Heads (Q) und 2 Attention Heads (KV) sowie einer vollständigen Kontextlänge von 32.768 Token. Dieses Modell gehört zu den besten Open-Source-Code-LLMs und bietet vergleichbare Codierungsfähigkeiten wie GPT-4o, wodurch Entwicklern ein leistungsstarkes Werkzeug zur Codeunterstützung zur Verfügung gestellt wird.