बड़े भाषा मॉडल (LLM) प्राकृतिक भाषा प्रसंस्करण कार्यों में महत्वपूर्ण भूमिका निभाते हैं, हालाँकि क्रॉस-मॉडल सामग्री उत्पादन अभी भी चुनौतियों का सामना कर रहा है। फुदान विश्वविद्यालय की टीम ने SpeechGPT पेश किया, जिसका उद्देश्य मॉडल को आवाज़ और पाठ्य सामग्री को समझने और उत्पन्न करने में सक्षम बनाना है। SpeechGPT, आवाज़ के संकेतों को डिस्क्रीटाइज करके, इसे पाठ मोड के साथ संगत बनाता है, जिससे यह आवाज़ को महसूस और उत्पन्न करने की क्षमता हासिल करता है। यह मॉडल भावनाओं का अनुभव और व्यक्त करने में सक्षम है, और संदर्भ और निर्देशों के आधार पर विभिन्न आवाज़ों की शैलियों का उत्पादन कर सकता है, इसका लाभ इसके विशाल वॉयस डेटासेट से मिलता है। प्रशिक्षण रणनीतियों में मोड अनुकूलन का पूर्वाभ्यास शामिल है।