Meta AI के शोधकर्ताओं ने शैक्षणिक भागीदारों के साथ मिलकर एक नवोन्मेषी प्रणाली विकसित की है - MILS (मल्टीमोडल इटरेटिव LLM समाधानकर्ता)। यह प्रणाली बिना विशेष प्रशिक्षण के बड़े भाषा मॉडलों को चित्रों, वीडियो और ऑडियो को संभालना सिखाने में सक्षम है। MILS प्राकृतिक प्रश्न समाधान क्षमताओं पर निर्भर करता है, न कि विशाल डेटा प्रशिक्षण पर, जो इसकी अनूठी विशेषताओं को दर्शाता है। MILS का कार्यप्रणाली दो AI मॉडलों को जोड़कर कार्य समाधान करना है: एक 'जनरेटर' होता है, जो कार्य समाधान का प्रस्ताव करता है, और दूसरा 'मूल्यांकनकर्ता' है।

हाल ही में, जिपु प्रौद्योगिकी (Aibot) ने एक महत्वपूर्ण प्रबंधन परिवर्तन की सुविधा दी है। पूर्व मिडजर्नी एशिया क्षेत्र की उपाध्यक्ष वांग युएटिंग ने आधिकारिक रूप से जिपु में शामिल हो गईं, जहां वे मल्टीमोडल उत्पादों और बाजार के विकास की जिम्मेदारी संभालेंगी। इस मानव संसाधन परिवर्तन ने उद्योग में व्यापक ध्यान आकर्षित किया है, विशेष रूप से डिजिटलकरण और कृत्रिम बुद्धिमत्ता के तेज़ विकास के संदर्भ में, जिपु ने क्षेत्र में अनुभव वाले प्रतिभाओं को शामिल करके अपनी बाजार प्रतिस्पर्धा को बढ़ाने का निर्णय लिया है। जिपु के मुख्य रणनीति अधिकारी झांग कू और उपाध्यक्ष क्यू टेंग ने क्रमशः पद छोड़ दिया, इस खबर ने कुछ अटकलों को जन्म दिया, लेकिन कंपनी के अंदरूनी सूत्रों में

सेंजुंग टेक्नोलॉजी के अंतर्गत ज्यादुई व्यापार विभाग ने स्मार्ट कॉकपीट क्षेत्र में एक और उपलब्धि हासिल की है। देश की प्रमुख ऑटोमोबाइल कंपनियों के साथ गहरे सहयोग के माध्यम से, उन्होंने वैश्विक स्तर पर पहला मूल स्ट्रीमिंग मल्टीमोडल कॉकपीट सिस्टम सफलतापूर्वक उत्पादन में लाने और OTA एयर-अपग्रेड द्वारा उपयोगकर्ताओं के वाहनों तक पहुँचाने में सफलता हासिल की है। इस प्रणाली की मुख्य विशेषताओं में इसकी अनूठी कॉकपिट के बाहर के दृश्य पहचान क्षमता शामिल है, जिसमें मुख्य रूप से तीन महत्वपूर्ण कार्यात्मक मॉड्यूल शामिल हैं: आगे की कार की स्थिति की वास्तविक समय पहचान, सड़क यातायात संकेतों की बुद्धिमान पहचान और यात्रा के दौरान प्राकृतिक दृश्यों का अनुभव। यह उपलब्धि ऑटोमोटिव स्मार्ट कॉकपीट प्रौद्योगिकी के लिए एक नए बहु-मोडल इंटरैक्शन युग में कदम रखती है।

हाल ही में, VITA-MLLM टीम ने VITA-1.5 लॉन्च करने की घोषणा की, जो VITA-1.0 के आधार पर एक उन्नत संस्करण है, जिसका उद्देश्य मल्टीमोडल इंटरएक्शन की रीयल-टाइम और सटीकता को बढ़ाना है। VITA-1.5 न केवल अंग्रेजी और चीनी का समर्थन करता है, बल्कि कई प्रदर्शन संकेतकों में महत्वपूर्ण सुधार भी किया गया है, जो उपयोगकर्ताओं को एक अधिक सहज इंटरएक्शन अनुभव प्रदान करता है। VITA-1.5 में, इंटरएक्शन की देरी मूल 4 सेकंड से घटाकर केवल 1.5 सेकंड कर दी गई है, जिससे उपयोगकर्ता वॉयस इंटरएक्शन करते समय लगभग कोई देरी महसूस नहीं करते।

2024 वोल्केन इंजन FORCE पावर सम्मेलन·सर्दियों में, बाइटडांस ने वोल्केन इंजन全域 AI खोज भी प्रस्तुत की। यह सेवा संदर्भित खोज की सिफारिश, कंपनियों के निजी जानकारी के एकीकरण और नेटवर्क प्रश्न-उत्तर सेवाओं को एकीकृत करके कंपनी की जानकारी, व्यावसायिक आवश्यकताओं और उपयोगकर्ता की आवश्यकताओं को निकटता से जोड़ती है, जिससे कंपनियों को अधिक सटीक सिफारिशें और व्यापक जानकारी की खोज को साकार करने में मदद मिलती है।

ज़ी युआन अनुसंधान संस्थान की Emu3 टीम ने एक नई मल्टीमोडल मॉडल Emu3 लॉन्च किया है, जो केवल अगली टोकन भविष्यवाणी पर आधारित है। यह पारंपरिक डिफ्यूजन मॉडलों और संयोजन मॉडल आर्किटेक्चर को उलट देता है, और जनरेटिव और संवेदनात्मक कार्यों में अत्याधुनिक प्रदर्शन प्राप्त करता है। हमेशा से, अगली टोकन भविष्यवाणी को कृत्रिम बुद्धिमत्ता सामान्य बुद्धिमत्ता (AGI) की ओर ले जाने वाले रास्ते के रूप में माना जाता रहा है, लेकिन मल्टीमोडल कार्यों में इसका प्रदर्शन बेहतर नहीं था। वर्तमान में, मल्टीमोडल क्षेत्र में अभी भी डिफ्यूजन मॉडल (जैसे स्टेबल डिफ्यूजन) का वर्चस्व है।

Snapchat ने हाल ही में Google क्लाउड के साथ अपने सहयोग को बढ़ाने की घोषणा की, इस बार सहयोग का मुख्य ध्यान Snapchat के My AI चैटबॉट में अधिक शक्तिशाली जनरेटिव आर्टिफिशियल इंटेलिजेंस क्षमताओं को शामिल करना है। इस सहयोग के माध्यम से, My AI Google के Gemini AI के मल्टीमोडल क्षमताओं का उपयोग करके विभिन्न प्रकार的信息 को समझने और संसाधित करने में सक्षम होगा, जिसमें टेक्स्ट, ऑडियो, इमेज और वीडियो शामिल हैं। स्नैप के वार्षिक पार्टनर शिखर सम्मेलन में, Snapchat ने Gemini पर आधारित प्रस्तुत किया।

vivo के OS उत्पाद के उपाध्यक्ष Zhou Wei ने घोषणा की कि कंपनी अगले महीने के डेवलपर सम्मेलन में नया Blue Heart बड़ा मॉडल पेश करेगी। यह नया मॉडल भाषा, आवाज, दृष्टि, मल्टीमोडल और एंड-साइड जैसे कई क्षेत्रों में बड़े मॉडल को कवर करेगा। Zhou Wei ने अपने बयान में जोर दिया कि आर्टिफिशियल इंटेलिजेंस (AI) को एक प्रमुख प्रौद्योगिकी के रूप में, आने वाले पांच वर्षों में मोबाइल ऑपरेटिंग सिस्टम के विकास में एक महत्वपूर्ण भूमिका निभाएगा, जो ऑडियोविजुअल मनोरंजन, कार्यालय सहयोग और अन्य विभिन्न मॉड्यूल में महत्वपूर्ण भूमिका निभाएगा। vivo अपने नवीनतम OriginOS मूल प्रणाली 5 में Blue Heart बड़े मॉडल को एकीकृत करने की योजना बना रहा है, ताकि इसे बेहतर बनाया जा सके।

PaddleMIX2.0 एक मल्टीमोडल बड़े मॉडल विकास किट है, जिसे बaidu द्वारा पेश किया गया है, जिसका उद्देश्य मल्टीमोडल एप्लिकेशन विकास को सरल बनाना है, जो स्वचालित ड्राइविंग, स्मार्ट मेडिकल, सर्च इंजन आदि परिदृश्यों का समर्थन करता है। इसके प्रमुख亮点 में शामिल हैं: 1. **समृद्ध मॉडल लाइब्रेरी**: इमेज, टेक्स्ट, वीडियो, ऑडियो को कवर करता है, नवीनतम LLaVA श्रृंखला मॉडल पेश करता है, जो अत्याधुनिक तकनीकी समर्थन प्रदान करता है। 2. **पूर्ण प्रक्रिया विकास अनुभव**: DataCopilot और Auto मॉड्यूल के साथ आया है, जो मल्टीमोडल मॉडल प्रशिक्षण प्रक्रिया को सरल बनाता है। 3. **उच्च प्रदर्शन प्रशिक्षण क्षमता**

वित्तीय क्षेत्र में नवाचार: FinTral मल्टीमोडल विधि अपनाता है, जो पाठ, संख्याएँ, तालिकाएँ और दृश्य डेटा को संसाधित करता है, और GPT-4 को पार कर जाता है। मॉडल की विशेषताएँ: Mistral-7b मॉडल पर आधारित, क्षेत्रीय पूर्व प्रशिक्षण, समायोजन और एआई प्रतिक्रिया के साथ, दृश्य डेटा संसाधन के साथ सटीक वित्तीय विश्लेषण को सक्षम बनाता है। मजबूत प्रदर्शन प्रमाणन: FinTral-DPO मॉडल GPT-4 के औसत स्कोर के करीब है, वित्तीय कार्यों में उत्कृष्ट प्रदर्शन करता है। प्रयोगात्मक परिणाम प्रमाणित करते हैं: FinTral वित्तीय कार्यों में अत्यधिक प्रदर्शन करता है,

माइक्रोसॉफ्ट ने ओपन-सोर्स मल्टीमोडल मॉडल LLaVA-1.5 को लॉन्च किया, जो LLaVA आर्किटेक्चर को अपनाता है और नए फीचर्स को शामिल करता है। शोधकर्ताओं ने इसकी विजुअल प्रश्न-उत्तर, प्राकृतिक भाषा प्रसंस्करण, छवि निर्माण आदि पर परीक्षण किए, जिससे पता चला कि LLaVA-1.5 ओपन-सोर्स मॉडल में उच्चतम स्तर पर पहुँच गया है।

एप्पल और कोलंबिया विश्वविद्यालय के शोधकर्ताओं ने Ferret मल्टीमोडल भाषा मॉडल jointly विकसित किया है, जिसका उद्देश्य उन्नत छवि समझ और वर्णन प्राप्त करना है। Ferret मॉडल में अत्यधिक वैश्विक समझने की क्षमता है, जो स्वतंत्र पाठ और संदर्भित क्षेत्रों को संभाल सकता है, पारंपरिक मॉडलों की तुलना में बेहतर प्रदर्शन करता है। शोधकर्ताओं ने GRIT डेटा सेट बनाया है, जिसमें 1.1 मिलियन नमूने शामिल हैं, जो मॉडल को संदर्भित करने और स्थान निर्धारण कार्यों में मार्गदर्शन प्रदान करता है। Ferret-Bench मूल्यांकन से पता चला है कि Ferret का प्रदर्शन औसतन सबसे अच्छे MLLM मॉडलों की तुलना में 20.4% बेहतर है, और वस्तुओं की संख्या को कम करता है।