अली क्लाउड ने नए अपग्रेडेड Qwen2.5-Turbo बड़े भाषा मॉडल को लॉन्च किया है, जिसकी संदर्भ लंबाई 1 मिलियन टोकन तक पहुंच गई है। यह किस तरह का मतलब है? यह 10 "थ्री-बॉडी" उपन्यासों, 150 घंटे की आवाज़ ट्रांसक्रिप्शन या 30,000 लाइनों के कोड की क्षमता के बराबर है! अब सच में "एक बार में दस उपन्यास पढ़ना" कोई सपना नहीं रहा!
Qwen2.5-Turbo मॉडल ने पासकी रिट्रीवल कार्य में 100% सटीकता हासिल की है, और लंबे पाठ को समझने की क्षमता में GPT-4 जैसे समान मॉडलों को पीछे छोड़ दिया है। इस मॉडल ने RULER लंबे पाठ मानक परीक्षण में 93.1 का उच्च स्कोर प्राप्त किया, जबकि GPT-4 का स्कोर केवल 91.6 था, और GLM4-9B-1M का स्कोर 89.9 था।
अत्यधिक लंबे पाठ को संभालने की क्षमता के अलावा, Qwen2.5-Turbo में छोटे पाठ को संभालने की सटीकता भी है, छोटे पाठ मानक परीक्षण में, इसका प्रदर्शन GPT-4o-mini और Qwen2.5-14B-Instruct मॉडल के बराबर है।
स्पार्स ध्यान तंत्र का उपयोग करके, Qwen2.5-Turbo मॉडल ने 1 मिलियन टोकन के पहले टोकन को संसाधित करने का समय 4.9 मिनट से घटाकर 68 सेकंड कर दिया, जिससे 4.3 गुना तेजी से अनुमानित गति में वृद्धि हुई।
साथ ही, 1 मिलियन टोकन को संसाधित करने की लागत केवल 0.3 चीनी युआन है, जो GPT-4o-mini की तुलना में समान लागत पर 3.6 गुना अधिक सामग्री को संसाधित कर सकता है।
अली क्लाउड ने Qwen2.5-Turbo मॉडल के लिए कई डेमो तैयार किए हैं, जो इसकी गहन समझ की क्षमताओं को प्रदर्शित करते हैं जैसे कि लंबे उपन्यासों, कोड सहायता और कई शोध पत्रों को पढ़ना। उदाहरण के लिए, जब उपयोगकर्ता ने 690,000 टोकन की "थ्री-बॉडी" त्रिलॉजी की चीनी उपन्यास अपलोड की, तो मॉडल ने प्रत्येक उपन्यास की कहानी को अंग्रेजी में सफलतापूर्वक संक्षेपित किया।
उपयोगकर्ता अली क्लाउड मॉडल स्टूडियो के API सेवाओं, HuggingFace डेमो या ModelScope डेमो के माध्यम से Qwen2.5-Turbo मॉडल की शक्तिशाली क्षमताओं का अनुभव कर सकते हैं।
अली क्लाउड ने कहा है कि भविष्य में वे मॉडल को अनुकूलित करते रहेंगे, लंबे अनुक्रम कार्यों में मानव प्राथमिकताओं के साथ संरेखण को बढ़ाएंगे, अनुमानित दक्षता को और अनुकूलित करेंगे, गणना के समय को कम करेंगे, और बड़े और शक्तिशाली लंबे संदर्भ मॉडल पेश करने का प्रयास करेंगे।
आधिकारिक जानकारी: https://qwenlm.github.io/blog/qwen2.5-turbo/
ऑनलाइन डेमो: https://huggingface.co/spaces/Qwen/Qwen2.5-Turbo-1M-Demo
API दस्तावेज़: https://help.aliyun.com/zh/model-studio/getting-started/first-api-call-to-qwen
