क्या आपको वह ‘चित्र-से-शब्द’ जादुई GPT-4V याद है? यह चित्र की सामग्री को समझ सकता है और चित्र के आधार पर कार्य कर सकता है, यह सच में आलसी लोगों के लिए वरदान है! लेकिन इसका एक गंभीर कमजोर बिंदु है: इसकी निगाहें ठीक नहीं हैं! कल्पना कीजिए, आप GPT-4V से एक बटन पर क्लिक करने के लिए कहते हैं, लेकिन यह 'स्क्रीन का अंधा' की तरह इधर-उधर क्लिक करता है, क्या यह बहुत परेशान करने वाला है? आज हम आपको एक ऐसा जादुई उपकरण पेश करेंगे जो GPT-4V की नजर मजबूत कर देगा - OmniParser! यह माइक्रोसॉफ्ट द्वारा लॉन्च किया गया एक नया मॉडल है, जो ग्राफिकल यूजर इंटरफेस (GUI) में स्वचालित इंटरएक्शन को हल करने के लिए बनाया गया है।

MiniCPM-V2.6 का एंड-साइड मल्टी-मॉडल एआई मॉडल, जिसमें केवल 8B पैरामीटर हैं, ने 20B से कम एकल छवि, बहु छवि, वीडियो समझ में तीन SOTA (State of the Art, यानी वर्तमान सर्वोच्च स्तर) परिणाम हासिल किए हैं, जिससे एंड-साइड एआई की मल्टी-मॉडल क्षमता का महत्वपूर्ण रूप से सुधार हुआ है और यह GPT-4V स्तर से पूरी तरह से समकक्ष है।

शुश्री·पुयुलिंगबी (InternLM-XComposer) 2.5 संस्करण शंघाई आर्टिफिशियल इंटेलिजेंस प्रयोगशाला द्वारा विकसित किया गया है, इसका मुख्य उद्देश्य लम्बे सन्दर्भ इनपुट और आउटपुट की क्षमता है, यह 96K लंबाई में सुचारु रूप से काम कर सकता है, 24K इंटरलॉक चित्र-टेक्स्ट डेटा की प्रशिक्षण के माध्यम से। इसके उन्नयन बिंदुओं में शामिल हैं: उच्च-समर्थन चित्र समझ, सूक्ष्म-गुणवत्ता वीडियो समझ, बहु-चक्र बहु-चित्र संवाद।应用上，能够制作网页、撰写高质量图文文章。评估显示，在16个基准测试中超越开源最先进模型，在关键任务中与GPT-4V、Gem

हाल ही में, GPT-4V को एक विदेशी उपयोगकर्ता, जिसे Home Assistant कहा जाता है, ने नया रूप दिया। उसने साहसिकता से सीधे अपने घरेलू कैमरे में GPT-4Vision को जोड़ा, जिससे एआई 24 घंटे बिना रुकावट उसके प्रशंसा को देखता रहा। नतीजा यह हुआ कि यह वीडियो X पर 1000000 से अधिक बार देखा गया!

AI की दुनिया में, हमारे पास एक नई और महत्वपूर्ण सदस्य का परिचय हुआ है - Cambrian-1, जो LeCun और谢赛宁 जैसे उद्योग के दिग्गजों द्वारा निर्मित एक मल्टीमॉडल बड़े भाषा मॉडल (MLLM) है। इस मॉडल का उदय न केवल तकनीकी रूप से एक छलांग है, बल्कि यह मल्टीमॉडल सीखने के अनुसंधान पर एक गहरा विचार भी है।

北航 और南洋 तकनीकी विश्वविद्यालय के संयुक्त शोध दल ने GPT-4o मॉडल का गहन सुरक्षा परीक्षण किया। हजारों API क्वेरी के माध्यम से, शोधकर्ताओं ने GPT-4o के पाठ, चित्र, ऑडियो तीनों मोडलों का सुरक्षा मूल्यांकन किया। शोध में पाया गया कि, हालांकि GPT-4o के पाठ हैकिंग हमलों की सुरक्षा में सुधार हुआ है, लेकिन नए введ किए गए आवाज मोड ने नए हमले के द्वार को जोड़ा है, और समग्र मल्टीमॉडल सुरक्षा पूर्व पीढ़ी के मॉडल GPT-4V से कम है।

माइक्रोसॉफ्ट ने ओपन-सोर्स मल्टीमोडल मॉडल LLaVA-1.5 को लॉन्च किया, जो LLaVA आर्किटेक्चर को अपनाता है और नए फीचर्स को शामिल करता है। शोधकर्ताओं ने इसकी विजुअल प्रश्न-उत्तर, प्राकृतिक भाषा प्रसंस्करण, छवि निर्माण आदि पर परीक्षण किए, जिससे पता चला कि LLaVA-1.5 ओपन-सोर्स मॉडल में उच्चतम स्तर पर पहुँच गया है।

GitHub की गर्म सूची में GPT-4V के नए तरीके ने 3000+🌟 प्राप्त किए, वेब डेवलपर्स को खतरा महसूस हुआ। सरल चित्र बनाकर, फ्रेम बनाकर, क्लिक करके, बटन वाले वेब पेज बनाए जा सकते हैं, जो तेज और सरल होते हैं। डेवलपर सोयर हूड ने 5 घंटे में GPT-4V API का उपयोग करके नया तरीका विकसित किया, और 2700+ लाइक प्राप्त किए। ओपन-सोर्स सफेद बोर्ड tldraw और GPT-4V API का संयोजन करके, सेकंड में वेब पेज बनाए जा सकते हैं, कुछ उपयोगकर्ताओं ने DesignerGPT भी बनाया। GitHub

नए प्रस्तुत छवि निर्णय मानक HallusionBench का उपयोग GPT-4V जैसे दृश्य भाषा मॉडलों की जांच के लिए किया गया है, जिससे यह पता चलता है कि उनमें भाषा भ्रांति और दृश्य भ्रांति की समस्याएँ हैं। GPT-4V जैसे मॉडलों में HallusionBench के भीतर पैरामीट्रिक मेमोरी का प्रभाव रहता है, जिससे भाषा भ्रांति का उत्तर गलत होने की दर 90% तक जाती है। GPT-4V जैसे मॉडल HallusionBench में ज्यामितीय और अन्य दृश्य भ्रांति उत्पन्न करने में सक्षम हैं, और वर्तमान दृश्य क्षमताएँ अभी भी सीमित हैं। साधारण छवि क्रियाएं GPT-4V जैसे मॉडलों को आसानी से गलत दिशा में ले जा सकती हैं, जो उनकी कमजोरी को प्रकट करती हैं।

Zhejiang University alumni have collaborated with Microsoft Research to launch the multimodal model LLaVA, challenging GPT-4V. LLaVA has demonstrated outstanding performance on 11 test datasets, gaining over 6k stars. The model's comprehensive capabilities exceed 85% of GPT-4V's level. The open-source code, model, and training data for LLaVA are now available.

तिंगहुआ विश्वविद्यालय और ज़िज़ू एआई के सहयोग से विकसित की गई CogVLM-17B एक घरेलू मल्टी-मोडल मॉडल है, जिसमें उत्कृष्ट प्रदर्शन है। CogVLM-17B न केवल छवियों में वस्तुओं को पहचानता है, बल्कि पूर्ण रूप से दिखाई देने वाली और आंशिक रूप से दिखाई देने वाली वस्तुओं के बीच भी अंतर कर सकता है। इस मॉडल में विशेष गहरी समेकन विधि का उपयोग किया गया है, जो चार प्रमुख घटकों के माध्यम से छवि विशेषताओं और पाठ विशेषताओं के गहरे संरेखण को प्राप्त करता है। कई क्षेत्रों में CogVLM-17B ने Google के मॉडल को पार कर लिया है, इसे चित्रात्मक रूप से '14-बेहद सेनानी' के रूप में संदर्भित किया गया है, जो इसकी मल्टी-मोडल प्रसंस्करण को दर्शाता है।