पेशेवर वातावरण में, ग्राफिकल यूज़र इंटरफ़ेस (GUI) एजेंट तीन प्रमुख चुनौतियों का सामना करते हैं। पहले, पेशेवर अनुप्रयोगों की जटिलता सामान्य सॉफ़्टवेयर से कहीं अधिक होती है, जो जटिल लेआउट की गहरी समझ की मांग करती है; दूसरे, पेशेवर उपकरण अक्सर उच्च रिज़ॉल्यूशन में होते हैं, जिससे लक्ष्यों का आकार छोटा होता है, जिससे स्थान निर्धारण की सटीकता घटती है; अंततः, कार्यप्रवाह अक्सर अतिरिक्त उपकरणों और दस्तावेज़ों पर निर्भर करता है, जिससे संचालन की जटिलता बढ़ जाती है। ये चुनौतियाँ इन कठोर परिदृश्यों में GUI एजेंटों के प्रदर्शन को बढ़ाने के लिए अधिक उन्नत मानक और समाधान विकसित करने की आवश्यकता को उजागर करती हैं। वर्तमान में

ज़्हिपु AI के तहत GLM-PC आधारभूत मॉडल कॉगएजेंट-9B अब ओपन-सोर्स हो गया है, ताकि बड़े मॉडल एजेंट पारिस्थितिकी तंत्र के विकास को बढ़ावा दिया जा सके। कॉगएजेंट-9B GLM-4V-9B के प्रशिक्षण पर आधारित एक विशेष एजेंट टास्क मॉडल है, जो केवल स्क्रीनशॉट को इनपुट के रूप में लेकर, उपयोगकर्ता द्वारा निर्दिष्ट किसी भी कार्य के साथ-साथ ऐतिहासिक क्रियाओं के आधार पर, अगली GUI क्रिया की भविष्यवाणी कर सकता है। यह मॉडल इसकी सार्वभौमिकता के कारण व्यक्तिगत कंप्यूटर, मोबाइल फोन, कार उपकरण आदि जैसे विभिन्न GUI इंटरएक्शन आधारित परिदृश्यों में व्यापक रूप से उपयोग किया जा सकता है।

त्सिंग हुआ विश्वविद्यालय की बुद्धिमान एआई टीम ने एक नए दृश्य भाषा मॉडल CogAgent की घोषणा की है, जो ग्राफिकल यूजर इंटरफेस (GUI) की समझ और नेविगेशन पर ध्यान केंद्रित करता है। CogAgent एक दो-कोडिंग प्रणाली को अपनाता है, जो जटिल GUI तत्वों और पाठ को संसाधित करता है, 1120x1120 पिक्सल के उच्च-रिज़ॉल्यूशन इनपुट को संभालने में उत्कृष्ट प्रदर्शन करता है। यह मॉडल पीसी और Android प्लेटफ़ॉर्म के GUI नेविगेशन कार्यों में मौजूदा LLM विधियों से बेहतर है, और यह पाठ और दृश्य प्रश्न-उत्तर मानकों पर भी उत्कृष्ट प्रदर्शन करता है। संभावित अनुप्रयोगों में स्वचालित GUI संचालन, प्रदान करना शामिल है।

CogAgent को ज़िज़्पू AI द्वारा खुला गया है, जो एक दृश्य भाषा मॉडल है जिसमें 180 अरब पैरामीटर हैं। CogAgent GUI समझ और नेविगेशन में उत्कृष्ट प्रदर्शन करता है, और कई बेंचमार्क परीक्षणों पर SOTA सामान्य प्रदर्शन प्राप्त किया है। यह मॉडल उच्च संकल्प वाली दृश्य इनपुट और संवाद प्रश्नोत्तर का समर्थन करता है, और किसी भी GUI स्क्रीनशॉट के लिए प्रश्नोत्तर कर सकता है। CogAgent OCR संबंधित कार्यों का भी समर्थन करता है, और पूर्व प्रशिक्षण और सूक्ष्म समायोजन के माध्यम से, इसकी क्षमताएं काफी बढ़ गई हैं। मॉडल को