अली क्लाउड बाई लिआन प्लेटफॉर्म ने हाल ही में Qwen2.5-Turbo मिलियन लंबी पाठ मॉडल लॉन्च करने की घोषणा की। Qwen2.5-Turbo मॉडल को टोंग यि कियान वें टीम द्वारा विकसित किया गया है, जो 1000000 टोकन तक के सुपर लंबे संदर्भ को संभालने का समर्थन करता है, जो कि 1000000 अंग्रेजी शब्दों या 1500000 चीनी अक्षरों के बराबर है।

तिन्हुआ विश्वविद्यालय की शोध टीम ने सफलतापूर्वक "LongWriter" नामक कृत्रिम बुद्धिमत्ता सिस्टम विकसित किया है, जो 10000 से अधिक शब्दों का सुसंगत पाठ उत्पन्न कर सकता है, जो लंबी लेखन और सामग्री निर्माण के लिए नए रास्ते खोलता है। 6000 लेखन नमूनों के साथ "LongWriter-6k" डेटा सेट का निर्माण करके, शोध टीम ने एआई मॉडल का अधिकतम आउटपुट लंबाई लगभग 2000 शब्दों से बढ़ाकर 10000 शब्दों से अधिक कर दिया। यह नवाचार न केवल लंबे पाठ जेनरेशन कार्यों में एआई के प्रदर्शन को बढ़ाता है, बल्कि बड़े पैमाने पर विशिष्ट मॉडलों से भी आगे निकल जाता है।

智谱AI ने घोषणा की है कि अत्यधिक लंबा संदर्भ_length वाला LLM GLM-4-Long अब ओपन प्लेटफॉर्म bigmodel.cn पर उपलब्ध है। यह मॉडल अत्यधिक लंबे पाठ को संभालने के लिए विशेष रूप से डिज़ाइन किया गया है, जो एक बार में दो 'हॉज स्थानों' या 125 पेपर के पाठ की मात्रा को पढ़ सकता है, लंबे दस्तावेजों का अनुवाद, वित्तीय रिपोर्टों का वैश्विक विश्लेषण, महत्वपूर्ण जानकारी निकालने और अत्यधिक लंबी मेमोरी चैटबॉट्स बनाने जैसे परिदृश्यों में व्यापक रूप से उपयोग किया जाता है।

OpenAI के नए मॉडल gpt-4o-64k-output-alpha की सबसे बड़ी खासियत यह है कि यह एक बार में 64K लंबाई के टोकन का उत्पादन कर सकता है, जो समृद्ध और विस्तृत सामग्री उत्पन्न करने के लिए उपयुक्त है, लेखन, प्रोग्रामिंग और जटिल डेटा विश्लेषण की आवश्यकताओं को पूरा करने के लिए। हालांकि, इस सुविधा के साथ API की कीमत बढ़ गई है, हर एक मिलियन आउटपुट टोकन का शुल्क 18 डॉलर है, जबकि इनपुट के लिए हर एक मिलियन टोकन केवल 6 डॉलर ही हैं। यह उच्च गणना लागत से मेल खाने के लिए और इस शक्तिशाली उपकरण का यथोचित उपयोग करने के लिए प्रोत्साहित करने के लिए किया गया है। यह मॉडल रचनात्मकता और अनुसंधान के क्षेत्र के लिए है.

एप्पल और मेटा एआई ने नई तकनीक LazyLLM पेश की है, जिसका उद्देश्य बड़े भाषा मॉडल के लंबे पाठ के तर्क क्षमता को बढ़ाना है।现代 परिवर्तक आर्किटेक्चर लंबे संकेतों को संभालने में धीमी गति की समस्या का सामना कर रहे हैं, विशेष रूप से रेखीय वृद्धि की गणना जटिलता। इसको ध्यान में रखते हुए, LazyLLM महत्वपूर्ण टोकनों के चयन की रणनीति अपनाता है, गणना की मात्रा को कम करता है, जबकि मॉडल की सटीकता बनाए रखता है। इसकी उच्चतम दक्षता तंत्र में पिछले स्तर के ध्यान स्कोर का मूल्यांकन, गणना लागत को गतिशील रूप से कम करना, दबी हुई टोकनों को पुनर्स्थापित करना, और Aux Cache तंत्र का उपयोग शामिल है।

चाँद के अँधेरे पक्ष के संस्थापक यांग झिलिन तियानजिन विश्वविद्यालय के इंटरडिसिप्लीनरी इंफॉर्मेशन कॉलेज के प्रोफेसर हैं और XLNet जैसे पत्रों के पहले लेखक हैं। यांग झिलिन द्वारा स्थापित मूनशॉट एआई ने पहले दौर में लगभग 20 अरब फंडिंग जुटाई है, जिसमें सेquoia कैपिटल जैसे निवेशक शामिल हैं। मूनशॉट एआई ने 200,000 चाइनीज कैरेक्टर इनपुट का समर्थन करने वाला पहला बड़ा मॉडल उत्पाद किमि चैट पेश किया। मूनशॉट एआई ने लंबे पाठ के दृश्य में बड़े मॉडल के व्यावहारिक अनुप्रयोग के लिए एल्गोरिदम नवाचार के माध्यम से इसे संभव बनाया है। मूनशॉट एआई ने यह भी बताया कि वह बड़े मॉडल को बढ़ावा देने के लिए प्रौद्योगिकी अनुसंधान एवं विकास में निवेश बढ़ाना जारी रखेगा।

चाँद की अंधी तरफ द्वारा पेश किया गया Moonshot AI दुनिया का पहला बड़ा मॉडल है जो 2,00,000 शब्दों की लंबाई का समर्थन करता है। Moonshot AI के संस्थापक 杨植麟 ने CMU में शीर्ष AI विशेषज्ञों के साथ अध्ययन किया और इसे चीन के 'OpenAI' के候補之一 के रूप में देखा जाता है। Moonshot AI ने भंडारण, गणना शक्ति, नेटवर्क बैंडविड्थ आदि का अनुकूलन करके लंबा पाठ प्रसंस्करण करने में एक महत्वपूर्ण सफलता हासिल की है, जो निर्माणात्मक AI को लंबे पाठ के युग में प्रवेश करने का प्रतीक है। अन्य मॉडलों की तुलना में, Moonshot AI ने 'व्हेल मॉडल', 'बी मॉडल' आदि से बचते हुए