गूगल के शोधकर्ताओं ने हाल ही में एक नई मॉडल पेश की है, जिसका नाम TransNAR है, जो Transformer और न्यूरल अल्गोरिदम रीजनिंग (NAR) को मिलाकर अल्गोरिदम कार्यों में उत्कृष्ट प्रदर्शन कर रहा है।
परंपरागत Transformer अल्गोरिदम रीजनिंग में कुछ कमियां रखता है, जबकि NAR संरचित डेटा को संभालने में उत्कृष्ट है और इसमें मजबूत सामान्यीकरण क्षमता है। TransNAR ने क्रॉस-अटेंशन मैकेनिज्म के माध्यम से Transformer और NAR को गहराई से मिलाकर, मॉडल को टेक्स्ट के रूप में अल्गोरिदम समस्या विवरण और ग्राफ प्रतिनिधित्व दोनों को संभालने की क्षमता दी है, जिससे अल्गोरिदम रीजनिंग की क्षमता में सुधार हुआ है।
TransNAR की प्रशिक्षण रणनीति भी बहुत अनोखी है, जिसमें मल्टी-लेवल प्रशिक्षण विधि का उपयोग किया गया है। पूर्व-प्रशिक्षण चरण में, NAR स्वतंत्र रूप से प्रशिक्षित होता है, जिसमें विभिन्न अल्गोरिदम कार्यों को निष्पादित करके अंतर्निहित तर्क और गणना के चरणों को सीखा जाता है। जबकि माइक्रो-ट्यूनिंग चरण में, TransNAR टेक्स्ट विवरण और ग्राफ प्रतिनिधित्व का दोहरा इनपुट लेता है, पूर्व-प्रशिक्षित NAR द्वारा प्रदान की गई नोड एम्बेडिंग जानकारी का उपयोग करके, क्रॉस-अटेंशन मैकेनिज्म के माध्यम से अपने लेबल एम्बेडिंग को समायोजित करता है।
यह प्रक्रिया TransNAR को अल्गोरिदम कार्यों में बेसलाइन Transformer मॉडल की तुलना में कहीं अधिक प्रदर्शन करने में सक्षम बनाती है, विशेष रूप से वितरण से बाहर की सामान्यीकरण क्षमता में इसमें महत्वपूर्ण लाभ है, TransNAR ने 20% से अधिक का सुधार दिखाया है।
मुख्य बिंदु:
⭐ गूगल ने TransNAR मॉडल पेश किया, जिसने Transformer और NAR को मिलाकर अल्गोरिदम रीजनिंग क्षमता को बढ़ाया
⭐ TransNAR ने क्रॉस-अटेंशन मैकेनिज्म का उपयोग करके, टेक्स्ट और ग्राफ प्रतिनिधित्व में उत्कृष्ट प्रदर्शन करते हुए Transformer और NAR को गहराई से मिलाया
⭐ मल्टी-लेवल प्रशिक्षण रणनीति ने TransNAR को अल्गोरिदम कार्यों में बेसलाइन Transformer से स्पष्ट रूप से बेहतर बनाया, विशेष रूप से सामान्यीकरण क्षमता में उत्कृष्टता दिखाई
