SpacTor-T5
पूर्व-प्रशिक्षित T5 मॉडल, जिसमें अनुच्छेद विच्छेदन और टोकन प्रतिस्थापन पहचान शामिल है
सामान्य उत्पादप्रोग्रामिंगNLPपूर्व-प्रशिक्षित मॉडल
SpacTor एक नया प्रशिक्षण एल्गोरिथम है जिसमें (1) अनुच्छेद विच्छेदन (SC) और टोकन प्रतिस्थापन पहचान (RTD) को मिलाने वाला एक मिश्रित उद्देश्य और (2) एक दो-चरणीय पाठ्यक्रम शामिल है जो प्रारंभिक τ पुनरावृत्तियों के लिए मिश्रित उद्देश्य का अनुकूलन करता है और फिर मानक SC हानि में परिवर्तित होता है। हमने कई NLP कार्यों पर प्रयोग किए हैं, एन्कोडर-डिकोडर आर्किटेक्चर (T5) का उपयोग करके, SpacTor-T5 का डाउनस्ट्रीम प्रदर्शन मानक SC पूर्व-प्रशिक्षण के बराबर है, जबकि पूर्व-प्रशिक्षण पुनरावृत्तियों की संख्या में 50% और कुल FLOPs में 40% की कमी आई है। इसके अतिरिक्त, समान संगणना बजट के साथ, हमने पाया कि SpacTor डाउनस्ट्रीम बेंचमार्क प्रदर्शन में उल्लेखनीय रूप से सुधार कर सकता है।
SpacTor-T5 नवीनतम ट्रैफ़िक स्थिति
मासिक कुल विज़िट
29742941
बाउंस दर
44.20%
प्रति विज़िट औसत पृष्ठ
5.9
औसत विज़िट अवधि
00:04:44
