हाल ही में, माइक्रोसॉफ्ट रिसर्च ने वाशिंगटन विश्वविद्यालय, स्टैनफोर्ड विश्वविद्यालय, दक्षिणी कैलिफोर्निया विश्वविद्यालय, कैलिफोर्निया विश्वविद्यालय डेविस कैंपस और कैलिफोर्निया विश्वविद्यालय सैन फ्रांसिस्को के शोधकर्ताओं के साथ मिलकर LLaVA-Rad का शुभारंभ किया, जो एक नए प्रकार का छोटा मल्टी-मोडल मॉडल (SMM) है। इसका उद्देश्य नैदानिक रेडियोलॉजी रिपोर्ट बनाने की दक्षता को बढ़ाना है। इस मॉडल का लॉन्च न केवल चिकित्सा छवि प्रसंस्करण तकनीक में एक बड़ी प्रगति का प्रतीक है, बल्कि रेडियोलॉजी के नैदानिक अनुप्रयोगों के लिए और अधिक संभावनाओं को लाता है। बायोमेडिकल क्षेत्र में, बड़े पैमाने पर आधारभूत मॉडल पर आधारित शोध पहले से ही विकसित हो चुका है।

PaddleMIX2.0 एक मल्टीमोडल बड़े मॉडल विकास किट है, जिसे बaidu द्वारा पेश किया गया है, जिसका उद्देश्य मल्टीमोडल एप्लिकेशन विकास को सरल बनाना है, जो स्वचालित ड्राइविंग, स्मार्ट मेडिकल, सर्च इंजन आदि परिदृश्यों का समर्थन करता है। इसके प्रमुख亮点 में शामिल हैं: 1. **समृद्ध मॉडल लाइब्रेरी**: इमेज, टेक्स्ट, वीडियो, ऑडियो को कवर करता है, नवीनतम LLaVA श्रृंखला मॉडल पेश करता है, जो अत्याधुनिक तकनीकी समर्थन प्रदान करता है। 2. **पूर्ण प्रक्रिया विकास अनुभव**: DataCopilot और Auto मॉड्यूल के साथ आया है, जो मल्टीमोडल मॉडल प्रशिक्षण प्रक्रिया को सरल बनाता है। 3. **उच्च प्रदर्शन प्रशिक्षण क्षमता**

माइक्रोसॉफ्ट ने ओपन-सोर्स मल्टीमोडल मॉडल LLaVA-1.5 को लॉन्च किया, जो LLaVA आर्किटेक्चर को अपनाता है और नए फीचर्स को शामिल करता है। शोधकर्ताओं ने इसकी विजुअल प्रश्न-उत्तर, प्राकृतिक भाषा प्रसंस्करण, छवि निर्माण आदि पर परीक्षण किए, जिससे पता चला कि LLaVA-1.5 ओपन-सोर्स मॉडल में उच्चतम स्तर पर पहुँच गया है।

💡ओपन-सोर्स बड़े मॉडल के विकास की प्रवृत्ति: LLaVA 1.5 जैसे ओपन-सोर्स मॉडल तेजी से विकसित हो रहे हैं और GPT-4 विज़न जैसे व्यावसायिक बंद-स्रोत मॉडलों के लिए एक मजबूत प्रतियोगी बनने की आशा है।🔥LLaVA 1.5 की तकनीकी विशेषताएँ: CLIP चित्र एनकोडर, LLaMA भाषा मॉडल और MLP कनेक्टर का एकीकरण मात्र 600k प्रशिक्षण नमूने और 1 दिन में बहुत अच्छे मल्टी-मोडल बेंचमार्क परिणाम प्राप्त करने के लिए।📈LLaVA 1.5 की दक्षता की विशेषताएँ: अन्य ओपन-सोर्स बड़े मॉडलों की तुलना में इसकी गणना की दक्षता अधिक है और संसाधनों की खपत कम है।

Zhejiang University alumni have collaborated with Microsoft Research to launch the multimodal model LLaVA, challenging GPT-4V. LLaVA has demonstrated outstanding performance on 11 test datasets, gaining over 6k stars. The model's comprehensive capabilities exceed 85% of GPT-4V's level. The open-source code, model, and training data for LLaVA are now available.