हाल ही में, मॉडलर्स समुदाय (Modelers) ने आधिकारिक तौर पर स्टेप स्टार द्वारा विकसित Step-Video और Step-Audio दो ओपन सोर्स मल्टी-मॉडल मॉडल लॉन्च किए हैं। ये दो मॉडल क्रमशः वीडियो जेनरेशन और वॉयस इंटरैक्शन के लिए हैं, जिनका उद्देश्य डेवलपर्स और व्यावसायिक उपयोगकर्ताओं को अधिक शक्तिशाली AI उपकरण प्रदान करना है। Step-Video मॉडल का पूरा नाम Step-Video-T2V है, जो 300 बिलियन पैरामीटर्स वाला दुनिया का सबसे बड़ा ओपन सोर्स वीडियो जेनरेशन मॉडल है। यह मॉडल सीधे 20

Nexa AI ने हाल ही में अपने नए OmniAudio-2.6B ऑडियो भाषा मॉडल का अनावरण किया है, जो एज उपकरणों के कुशल तैनाती की आवश्यकताओं को पूरा करने के लिए предназначित है। पारंपरिक स्वचालित आवाज पहचान (ASR) और भाषा मॉडल को अलग करने वाली संरचना के विपरीत, OmniAudio-2.6B ने Gemma-2-2b, Whisper Turbo और कस्टम प्रोजेक्टर को एक एकीकृत ढांचे में जोड़ा है, जो पारंपरिक सिस्टम में विभिन्न घटकों के लिंकिंग से उत्पन्न होने वाली निष्क्रियता और विलंबता को समाप्त करता है, विशेष रूप से उन जगहों पर जहांcomputing संसाधन सीमित हैं।

हाल ही में, इलिनोइस विश्वविद्यालय उर्बाना-शैंपेन, Sony AI और Sony समूह की शोध टीम ने MMAudio नामक एक नई तकनीक पेश की है, जिसका उद्देश्य मल्टी-मॉडल संयुक्त प्रशिक्षण के माध्यम से उच्च गुणवत्ता वाले वीडियो से ऑडियो सिंथेसिस को प्राप्त करना है। MMAudio का核心创新 इस क्षमता में निहित है कि यह वीडियो और टेक्स्ट इनपुट का उपयोग करके समन्वित ऑडियो उत्पन्न कर सकता है, जिससे ऑडियो जनरेशन के अनुप्रयोग परिदृश्य का विस्तार होता है, वीडियो या टेक्स्ट इनपुट का समर्थन किया जाता है, वीडियो सामग्री के अनुसार ऑडियो प्रभाव उत्पन्न करने के लिए। MMAudio का डिज़ाइन इसे

OpenAI ने फिर से कृत्रिम बुद्धिमत्ता प्रौद्योगिकी के प्रवाह का नेतृत्व किया है, जिसमें नए gpt-4o-audio-preview मॉडल को पेश किया गया है। यह मॉडल न केवल आवाज़ उत्पादन और विश्लेषण के क्षेत्र में आश्चर्यजनक क्षमताएँ प्रदर्शित करता है, बल्कि मानव-मशीन इंटरएक्शन के लिए नए संभावनाओं का मार्ग प्रशस्त करता है। चलो इस नवोन्मेषी मॉडल की विशेषताओं और इसके संभावित अनुप्रयोगों पर गहराई से नज़र डालते हैं। gpt-4o-audio-preview की मुख्य विशेषताएँ तीन प्रमुख पहलुओं में विभाजित हैं: सबसे पहले, यह पाठ के आधार पर स्वाभाविक और तरल आवाज़ प्रतिक्रिया उत्पन्न कर सकता है, जो आवाज़ सहायकों और वर्चुअल ग्राहक सेवा जैसे अनुप्रयोगों के लिए उपयोगी है।

सूचना के विस्फोट के युग में, ज्ञान को प्रभावी रूप से प्राप्त करना कई शिक्षार्थियों और पेशेवरों के सामने एक चुनौती बन गया है। हाल ही में, एक ओपन-सोर्स टूल जो PDF2Audio कहलाता है, प्रकट हुआ है, जो कुशलता से कृत्रिम बुद्धिमत्ता तकनीक और पारंपरिक पठन शैलियों को जोड़ता है, उपयोगकर्ताओं को जानकारी प्राप्त करने का एक नया तरीका प्रदान करता है। PDF2Audio का मुख्य फ़ंक्शन PDF दस्तावेज़ों को ऑडियो सामग्री में परिवर्तित करना है। यह टूल OpenAI के GPT मॉडल का उपयोग करके पाठ उत्पन्न और आवाज़合成 करता है, विभिन्न प्रकार के PDF फ़ाइलों को पॉडकास्ट, व्याख्यान या चुनिंदा में बदलने में सक्षम है।

हाल ही में, जॉन्स हॉपकिंस विश्वविद्यालय और Tencent AI प्रयोगशाला ने एक नई टेक्स्ट-टू-ऑडियो जेनरेशन मॉडल, EzAudio लॉन्च किया है। यह तकनीक अभूतपूर्व दक्षता और उच्च गुणवत्ता वाले टेक्स्ट को आवाज में बदलने का वादा करती है, जो कृत्रिम बुद्धिमत्ता और ऑडियो तकनीक में एक महत्वपूर्ण छलांग का प्रतीक है। EzAudio की कार्यप्रणाली ऑडियो वेवफॉर्म के संभावित स्थान का उपयोग करती है, पारंपरिक स्पेक्ट्रोग्राम के बजाय, यह नवाचार इसे उच्च समय समाधान पर काम करने की अनुमति देता है, और अतिरिक्त न्यूरल वॉव परिवर्तक की आवश्यकता नहीं होती है। EzAudio का आर्किटेक्चर EzAu के रूप में जाना जाता है.

प्रस्तावना पिछले वर्ष, गूगल ने NotebookLM पेश किया, जो एक प्रयोगात्मक AI नोटबुक है जो बड़े भाषा मॉडल (LLM) और उपयोगकर्ता नोट्स को जोड़ता है, सारांश प्रदान करने, सवालों का जवाब देने जैसे तरीकों के माध्यम से उपयोगकर्ताओं को किसी विषय को बेहतर समझने में मदद करता है। अब, यह आपके नोट्स की सामग्री पर आपके साथ चर्चा भी कर सकता है। हाल ही में गूगल ने NotebookLM में 'ऑडियो ओवरव्यू' फीचर लॉन्च किया, जो उपयोगकर्ताओं को आकर्षक AI-संचालित संवाद के माध्यम से

अलीबाबा ने हाल ही में नई ओपन-सोर्स वॉयस मॉडल Qwen2-Audio पेश की है, जो वॉयस पहचान, अनुवाद और ऑडियो विश्लेषण में उत्कृष्ट प्रदर्शन करती है और महत्वपूर्ण प्रदर्शन सुधार करती है। Qwen2-Audio बेस वर्जन और निर्देशित फाइन-ट्यूनिंग वर्जन प्रदान करती है, जो कई भाषाओं जैसे कि चीनी,粤语, फ्रेंच, अंग्रेजी और जापानी का समर्थन करती है, भावनात्मक विश्लेषण और अनुवाद अनुप्रयोगों के लिए सुविधा प्रदान करती है। Qwen-Audio की तुलना में, Qwen2-Audio ने संरचना और प्रदर्शन में व्यापक रूप से अनुकूलन किया है, प्री-ट्रेनिंग चरण में अधिक प्राकृतिक भाषा संकेतों का उपयोग किया गया है।

अलीबाबा के नवीनतम CosyVoice वॉयस सिंथेसिस मॉडल और SenseVoice वॉयस पहचान मॉडल, FunAudioLLM ढांचे का निर्माण करते हैं, जिसका उद्देश्य मानव-कंप्यूटर इंटरैक्शन अनुभव को बेहतर बनाना है। CosyVoice अपनी विश्वसनीय आवाज उत्पादन क्षमता के साथ विभिन्न लिंगों, उम्रों और व्यक्तित्वों की आवाज़ों की नकल कर सकता है, भावना और शैली जोड़ सकता है, और यहां तक कि प्राकृतिक विशेषताओं जैसे कि हंसी, खांसी और सांस लेने की नकल कर सकता है। SenseVoice उच्च सटीकता के साथ बहुभाषी आवाज पहचान, भावना पहचान और ऑडियो इवेंट डिटेक्शन पर ध्यान केंद्रित करता है, 50 से अधिक को सपोर्ट करता है।

अलीबाबा क्लाउड ने 'Qwen-Audio' लॉन्च किया, एक बड़ा ऑडियो भाषा मॉडल जो वॉयस इंटरैक्शन अनुभव को नवाचार करता है। यह मॉडल विभिन्न ऑडियो इनपुट स्वीकार कर सकता है, ऑडियो विश्लेषण करता है और सीधे वॉयस कमांड का जवाब देता है। उपयोगकर्ता अद्वितीय ऑडियो इंटरैक्शन मोड प्रदान कर सकते हैं, जिसमें टेक्स्ट इनपुट की आवश्यकता नहीं है, सीधे वॉयस के जरिए संवाद करते हैं, और ऑडियो में ध्वनि और टेक्स्ट विश्लेषण प्रदान करते हैं। इसमें बुद्धिमान समझने की क्षमता है, जो विभिन्न ऑडियो स्रोतों के कमांड को मिलाकर解析 कर सकती है, जैसे कि एकल आवाज, मल्टीचैनल बातचीत और आदेशों को भेदित करना, और ऑडियो व्याख्या और प्रतिक्रिया में सहायता करना। प्रदर्शन पहले के उत्कृष्ट मॉडलों से बेहतर है, विशेषकर ऑडियो के आधार पर।

Stability AI ने Stable Assistant की कार्यक्षमता को अपडेट किया है, जिसमें 'खोज और प्रतिस्थापन' और 'Stable Audio' जैसे नए फीचर्स शामिल हैं, जो इमेज संपादन क्षमताओं और संगीत निर्माण की सुविधाओं को बढ़ाते हैं। खोज और प्रतिस्थापन फ़ीचर उपयोगकर्ताओं को अपलोड की गई छवियों में निर्दिष्ट वस्तुओं को बदलने की अनुमति देता है, जिससे रचनात्मक संपादन की क्षमता में सुधार होता है। Stable Audio उच्च गुणवत्ता वाले संगीत बनाने पर केंद्रित है, जो उपयोगकर्ताओं को व्यक्तिगत रचनात्मक विकल्प प्रदान करता है। इस अपडेट ने Stable Assistant को और भी मजबूत बनाया है, न केवल इमेज संपादन क्षमताओं में सुधार किया गया है, बल्कि संगीत निर्माण में भी।

अली टोंगयी प्रयोगशाला ने हाल ही में FunAudioLLM नामक ऑडियो जनरेशन बड़े मॉडल प्रोजेक्ट को ओपन-सोर्स किया है, जिसका उद्देश्य मानव और बड़े भाषा मॉडल (LLMs) के बीच प्राकृतिक आवाज़ इंटरैक्शन अनुभव को बेहतर बनाना है। यह प्रोजेक्ट दो मुख्य मॉडलों से मिलकर बना है: SenseVoice और CosyVoice।

Stability AI ने "Stable Audio" नामक AI संगीत जनरेटिंग टूल लॉन्च किया है, जो 90 सेकंड तक उच्च गुणवत्ता वाले व्यवसायिक संगीत का निर्माण कर सकता है। Stable Audio संभावित प्रसार तकनीक का उपयोग करता है, जो संगीत की गुणवत्ता और संगति की समस्याओं को हल कर सकता है। अन्य संगीत जनरेटिंग मॉडलों के विपरीत, Stable Audio 90 सेकंड तक संगीत उत्पन्न कर सकता है, जो ध्वनि की गुणवत्ता में उत्कृष्ट है। Stability AI ने व्यवसायिक संगीत पुस्तकालय AudioSparx के साथ सहयोग किया है।