चाँद की अंधेरी सतह के शोधकर्ता Flood Sung ने हाल ही में एक दस हजार शब्दों का लेख प्रकाशित किया, जिसमें उन्होंने पहली बार k1.5 मॉडल के विकास के विचारों का विस्तार से खुलासा किया, और OpenAI o1 मॉडल द्वारा लाए गए तकनीकी अंतर्दृष्टियों पर गहन विचार किया।
Flood Sung के अनुसार, Long-CoT (लंबी श्रृंखला सोच) का महत्व वास्तव में एक साल पहले चाँद की अंधेरी सतह के सह-संस्थापक Tim Zhou Xinyu द्वारा सत्यापित किया गया था। छोटे मॉडल का उपयोग करके बहु-आंकड़ा गणना का प्रशिक्षण देकर और बारीक गणना प्रक्रिया को लंबी श्रृंखला सोच डेटा में परिवर्तित करके SFT (सुपरवाइज्ड फाइन-ट्यूनिंग) किया जा सकता है, जिससे महत्वपूर्ण परिणाम प्राप्त होते हैं।
हालांकि, लागत के कारण, चाँद की अंधेरी सतह ने पहले Long Context (लंबे पाठ इनपुट) के अनुकूलन पर ध्यान केंद्रित किया। Flood Sung ने स्पष्ट किया कि Long Context मुख्य रूप से इनपुट पक्ष को संभालता है, Prefill प्रीफिलिंग और Mooncake तकनीक की मदद से, लागत और गति को अच्छी तरह से नियंत्रित किया जा सकता है। इसके विपरीत, Long-CoT आउटपुट पक्ष पर ध्यान केंद्रित करता है, जिसके लिए उच्च लागत और अधिक समय की आवश्यकता होती है।
लेकिन OpenAI o1 की रिलीज ने टीम को तकनीकी दिशा की प्राथमिकताओं पर फिर से विचार करने के लिए मजबूर किया। "प्रदर्शन सबसे महत्वपूर्ण है," Flood Sung ने कहा, "लागत और गति तकनीकी प्रगति के साथ निरंतर अनुकूलित होंगे, महत्वपूर्ण यह है कि पहले प्रदर्शन में突破 प्राप्त करें।" इस समझ के आधार पर, चाँद की अंधेरी सतह ने Long-CoT अनुसंधान को पूरी तरह से आगे बढ़ाना शुरू कर दिया है, जिससे मॉडल को मानव जैसी स्वतंत्र सोच की क्षमता प्राप्त हो सके।
इस तकनीकी रहस्योद्घाटन लेख का प्रकाशन दर्शाता है कि चाँद की अंधेरी सतह ने o1 मॉडल के साथ प्रणालीगत रूप से तुलना करना शुरू कर दिया है, और संबंधित क्षेत्रों में ठोस अनुसंधान शुरू किया है।
o1 कोड破解 प्रक्रिया का रहस्योद्घाटन करने वाला दस हजार शब्दों का लेख:https://mp.weixin.qq.com/s/sJmT-tM3A-mglZ1d4OI80A