कृत्रिम बुद्धिमत्ता के क्षेत्र में, टेक्स्ट-ऑडियो उत्पन्न करने वाली तकनीक धीरे-धीरे अनुसंधान का热点 बन रही है। हाल ही में, शोधकर्ताओं ने एक नए मॉडल TANGOFLUX का परिचय दिया है, जो प्रदर्शन और दक्षता दोनों में उत्कृष्टता दिखाता है। TANGOFLUX एक कुशल टेक्स्ट से ऑडियो उत्पन्न करने वाला मॉडल है, जिसमें 515 मिलियन पैरामीटर हैं, जो केवल 3.7 सेकंड में अधिकतम 30 सेकंड की 44.1kHz ऑडियो उत्पन्न कर सकता है, यह गति इसे एक ही A40GPU पर बेहद प्रभावशाली बनाती है। TANGOFLUX मुख्य रूप से

संगीत और ध्वनि निर्माण के क्षेत्र में, तकनीक और रचनात्मकता के मेल के सामने हमेशा कई चुनौतियाँ होती हैं। मौजूदा AI मॉडल अक्सर केवल विशिष्ट कार्यों में कुशल होते हैं और इनमें व्यापक अनुकूलन की कमी होती है, जिससे संगीत उत्पादन में AI की सहायक भूमिका सीमित होती है। संगीत और ऑडियो उत्पादन के लिए AI को बेहतर तरीके से सेवा देने के लिए एक ऐसा सामान्य मॉडल की आवश्यकता है जो विभिन्न रचनात्मक आवश्यकताओं का लचीलापन से सामना कर सके। इस उद्देश्य के लिए, NVIDIA ने Fugatto पेश किया है, जो 25 बिलियन पैरामीटर वाला एक ऑडियो जनरेशन और प्रोसेसिंग मॉडल है। Fugatto का डिज़ाइन इस उद्देश्य को ध्यान में रखते हुए किया गया है,

स्टेबिलिटी एआई ने हाल ही में ओपन-सोर्स ऑडियो जनरेशन मॉडल स्टेबल ऑडियो ओपन जारी किया है, जो 47 सेकंड तक का अधिकतम ऑडियो ट्रैक जेनरेट कर सकता है, 44.1kHz के सैंपल दर के साथ। इसमें ओपन वेट्स डिजाइन शामिल है, जो उपयोगकर्ताओं को समीक्षा, संशोधन और विस्तार करने की अनुमति देता है, जिससे अनुसंधान और डेवलपर्स की नवाचार को बढ़ावा मिलता है। डेटा की वैधता और नैतिकता सुनिश्चित करने के लिए क्रिएटिव कॉमन्स लाइसेंस ऑडियो का प्रशिक्षण उपयोग किया गया है। मॉडल की तकनीकी संरचना उन्नत है, जो उच्च गुणवत्ता वाले स्टीरियो जनरेशन का समर्थन करती है, विविधता और उच्च फिडेलिटी का प्रमाणीकरण प्राप्त कर चुकी है, और शीर्ष मॉडलों के प्रदर्शन के बराबर है। यह उपकरण शोधकर्ताओं के लिए अत्यंत उपयोगी है।

अली टोंगयी प्रयोगशाला ने हाल ही में FunAudioLLM नामक ऑडियो जनरेशन बड़े मॉडल प्रोजेक्ट को ओपन-सोर्स किया है, जिसका उद्देश्य मानव और बड़े भाषा मॉडल (LLMs) के बीच प्राकृतिक आवाज़ इंटरैक्शन अनुभव को बेहतर बनाना है। यह प्रोजेक्ट दो मुख्य मॉडलों से मिलकर बना है: SenseVoice और CosyVoice।