DeepSeek R1 के बाद, अली क्लाउड की टोंग यि कियान वेन टीम ने हाल ही में अपने नवीनतम ओपन-सोर्स मॉडल Qwen2.5-1M की घोषणा की है, जिसने फिर से उद्योग का ध्यान आकर्षित किया है।

इस बार जारी किए गए Qwen2.5-1M श्रृंखला में दो ओपन-सोर्स मॉडल शामिल हैं: Qwen2.5-7B-Instruct-1M और Qwen2.5-14B-Instruct-1M। यह टोंग यि कियान वेन का पहला मॉडल है जो मूल रूप से एक मिलियन टोकन संदर्भ लंबाई का समर्थन करता है, और इसने अनुमानित गति में महत्वपूर्ण सुधार किया है।

अली क्लाउड, टोंग यि कियान वेन

Qwen2.5-1M की मुख्य विशेषता इसकी मूल रूप से एक मिलियन टोकन की सुपर लंबी संदर्भ प्रक्रिया क्षमता है। यह मॉडल पुस्तकों, लंबी रिपोर्टों, कानूनी दस्तावेजों जैसे सुपर लंबे दस्तावेजों को आसानी से संभाल सकता है, बिना किसी जटिल विभाजन प्रक्रिया के। साथ ही, यह मॉडल लंबे समय तक और गहरे संवाद का समर्थन करता है, जिससे यह लंबे संवाद इतिहास को याद रख सकता है और अधिक लगातार, प्राकृतिक इंटरैक्टिव अनुभव प्रदान कर सकता है। इसके अलावा, Qwen2.5-1M जटिल कार्यों को समझने जैसे कि कोड समझना, जटिल तर्क, बहु-चरण संवाद आदि में भी अधिक शक्तिशाली क्षमता प्रदर्शित करता है।

एक मिलियन टोकन संदर्भ लंबाई के अलावा, Qwen2.5-1M ने एक और महत्वपूर्ण प्रगति लाई है: बिजली की गति से तेज़ अनुमान ढांचा! टोंग यि कियान वेन टीम ने पूरी तरह से vLLM पर आधारित अनुमान ढांचे को ओपन-सोर्स किया है और इसमेंSparse Attention Mechanism को एकीकृत किया है। यह नवोन्मेषी ढांचा Qwen2.5-1M को एक मिलियन टोकन इनपुट को संभालने में 3 से 7 गुना गति में सुधार करता है! इसका मतलब है कि उपयोगकर्ता सुपर लंबी संदर्भ मॉडल का अधिक प्रभावी ढंग से उपयोग कर सकते हैं, जिससे व्यावहारिक अनुप्रयोग परिदृश्यों की दक्षता और अनुभव में काफी सुधार होता है।