गूगल के शोधकर्ताओं ने Cappy नामक एक पूर्व-प्रशिक्षित स्कोरिंग मॉडल पेश किया है, जिसका उद्देश्य बड़े बहु-कार्यात्मक भाषा मॉडल के प्रदर्शन को बढ़ाना है। Cappy की संरचना RoBERTa पर आधारित है, और इसे विभिन्न डेटा सेटों के संग्रह के माध्यम से पूर्व-प्रशिक्षित किया गया है ताकि बहु-कार्यात्मक कानून स्नातक की प्रदर्शन और दक्षता को बढ़ाया जा सके। हल्के पूर्व-प्रशिक्षित स्कोरिंग मॉडल Cappy का परिचय दिये जाने से बहु-कार्यात्मक परिदृश्यों में बड़े भाषा मॉडल के प्रभावी उपयोग की चुनौतियों का समाधान किया गया है। शोधकर्ताओं ने एक डेटा निर्माण विधि पेश की जो पूर्व-प्रशिक्षित डेटा में लेबल विविधता की आवश्यकता को पूरा करती है, बड़े प्रभावी रिग्रेशन पूर्व-प्रशिक्षित डेटा का उत्पादन करती है।