हाल ही में, Salesforce AI अनुसंधान टीम ने एक नया मल्टीमॉडल भाषा मॉडल - BLIP-3-Video पेश किया। वीडियो सामग्री के तेजी से बढ़ने के साथ, वीडियो डेटा को प्रभावी ढंग से संसाधित करने का प्रश्न एक तत्काल समाधान की आवश्यकता बन गया है। इस मॉडल का उद्देश्य वीडियो समझने की दक्षता और प्रभाव को बढ़ाना है, जो स्वचालित ड्राइविंग से लेकर मनोरंजन जैसे विभिन्न उद्योगों में लागू होता है। पारंपरिक वीडियो समझने मॉडल अक्सर वीडियो को फ्रेम दर फ्रेम संसाधित करते हैं, जो बड़ी मात्रा में दृश्य जानकारी उत्पन्न करते हैं। यह प्रक्रिया केवल बड़ी मात्रा में कंप्यूटिंग संसाधनों को खर्च नहीं करती है बल्कि

अलीबाबा क्लाउड ने 'Qwen-Audio' लॉन्च किया, एक बड़ा ऑडियो भाषा मॉडल जो वॉयस इंटरैक्शन अनुभव को नवाचार करता है। यह मॉडल विभिन्न ऑडियो इनपुट स्वीकार कर सकता है, ऑडियो विश्लेषण करता है और सीधे वॉयस कमांड का जवाब देता है। उपयोगकर्ता अद्वितीय ऑडियो इंटरैक्शन मोड प्रदान कर सकते हैं, जिसमें टेक्स्ट इनपुट की आवश्यकता नहीं है, सीधे वॉयस के जरिए संवाद करते हैं, और ऑडियो में ध्वनि और टेक्स्ट विश्लेषण प्रदान करते हैं। इसमें बुद्धिमान समझने की क्षमता है, जो विभिन्न ऑडियो स्रोतों के कमांड को मिलाकर解析 कर सकती है, जैसे कि एकल आवाज, मल्टीचैनल बातचीत और आदेशों को भेदित करना, और ऑडियो व्याख्या और प्रतिक्रिया में सहायता करना। प्रदर्शन पहले के उत्कृष्ट मॉडलों से बेहतर है, विशेषकर ऑडियो के आधार पर।

AI की दुनिया में, हमारे पास एक नई और महत्वपूर्ण सदस्य का परिचय हुआ है - Cambrian-1, जो LeCun और谢赛宁 जैसे उद्योग के दिग्गजों द्वारा निर्मित एक मल्टीमॉडल बड़े भाषा मॉडल (MLLM) है। इस मॉडल का उदय न केवल तकनीकी रूप से एक छलांग है, बल्कि यह मल्टीमॉडल सीखने के अनुसंधान पर एक गहरा विचार भी है।

हाल ही में, मेटा ने चुपचाप छह अनुसंधान成果 जारी किए, जिसने एआई क्षेत्र में नए अनुप्रयोगों और तकनीकी प्रगति को लाया। इनमें मल्टीमॉडल मॉडल, टेक्स्ट जनरेटेड म्यूजिक मॉडल, ऑडियो वॉटरमार्किंग तकनीक, डेटा सेट आदि जैसे कई प्रोजेक्ट शामिल हैं। आइए एक साथ देखें कि ये अनुसंधान परिणाम वास्तव में कौन-कौन से हैं।

शंघाई एआई प्रयोगशाला ने शंघाई जियाओटोंग विश्वविद्यालय चिकित्सा学院 से संबंधित रुइजिन अस्पताल आदि के साथ मिलकर मेडिकल मल्टीमॉडल बेसिक मॉडल समूह "पीयूई 2.0" जारी किया। पीयूई 2.0 ने विभिन्न क्षेत्रों के मॉडल, भाषा पैरामीटर में वृद्धि को जोड़ा है, जिसमें चिकित्सा छवियां, चिकित्सा पाठ, जैव सूचना जैसे कई डेटा मोडाल शामिल हैं। नए ओपन-सोर्स डेटा सेट में चिकित्सा छवि विभाजन डेटा सेट SA-Med2D-20M और पैथोलॉजी डेटा सेट SNOW शामिल हैं। पीयूई 2.0 ने परीक्षण मॉड्यूल को जोड़ा है, जो चिकित्सा मॉडल क्षमता संदर्भ को प्रदान करता है, और चिकित्सा बड़े मॉडल समूह का एक-स्टॉप ओपन-सोर्स समाधान प्रदान करता है, एआई के लिए।