अलीबाबा के नवीनतम CosyVoice वॉयस सिंथेसिस मॉडल और SenseVoice वॉयस पहचान मॉडल, FunAudioLLM ढांचे का निर्माण करते हैं, जिसका उद्देश्य मानव-कंप्यूटर इंटरैक्शन अनुभव को बेहतर बनाना है। CosyVoice अपनी विश्वसनीय आवाज उत्पादन क्षमता के साथ विभिन्न लिंगों, उम्रों और व्यक्तित्वों की आवाज़ों की नकल कर सकता है, भावना और शैली जोड़ सकता है, और यहां तक कि प्राकृतिक विशेषताओं जैसे कि हंसी, खांसी और सांस लेने की नकल कर सकता है। SenseVoice उच्च सटीकता के साथ बहुभाषी आवाज पहचान, भावना पहचान और ऑडियो इवेंट डिटेक्शन पर ध्यान केंद्रित करता है, 50 से अधिक को सपोर्ट करता है।

अली टोंगयी प्रयोगशाला ने हाल ही में FunAudioLLM नामक ऑडियो जनरेशन बड़े मॉडल प्रोजेक्ट को ओपन-सोर्स किया है, जिसका उद्देश्य मानव और बड़े भाषा मॉडल (LLMs) के बीच प्राकृतिक आवाज़ इंटरैक्शन अनुभव को बेहतर बनाना है। यह प्रोजेक्ट दो मुख्य मॉडलों से मिलकर बना है: SenseVoice और CosyVoice।