Qwen2.5-Coder कोड-विशिष्ट बड़े भाषा मॉडल की एक श्रृंखला है, जिसमें विभिन्न डेवलपर्स की आवश्यकताओं को पूरा करने के लिए 0.5 बिलियन से 32 बिलियन पैरामीटर तक के विभिन्न मॉडल आकार शामिल हैं। यह मॉडल कोड निर्माण, कोड अनुमान और कोड सुधार में उल्लेखनीय सुधार प्रदर्शित करता है। यह शक्तिशाली Qwen2.5 पर आधारित है, जिसका प्रशिक्षण टोकन 5.5 ट्रिलियन तक विस्तारित है, जिसमें सोर्स कोड, टेक्स्ट कोड बेस और सिंथेटिक डेटा शामिल हैं। Qwen2.5-Coder-32B वर्तमान में सबसे उन्नत ओपन-सोर्स कोड निर्माण बड़ा भाषा मॉडल है, जिसकी कोडिंग क्षमता GPT-4o के बराबर है। इसके अतिरिक्त, यह मॉडल 128K टोकन तक के लंबे संदर्भ का समर्थन करता है और मॉडल की दक्षता और प्रदर्शन को बेहतर बनाने के लिए AWQ 4-bit क्वांटाइजेशन तकनीक का उपयोग करता है।