जब से Anthropic ने अक्टूबर में Claude के 'कम्प्यूटर उपयोग' कार्यक्षमता को लॉन्च किया है, AI एजेंट की क्षमताओं ने व्यापक ध्यान खींचा है। यह कार्यक्षमता Claude को पहले अग्रणी मॉडल बनाती है जो मानवीय समान ग्राफिकल यूजर इंटरफेस (GUI) के माध्यम से इंटरैक्ट कर सकता है। Claude स्क्रीनशॉट्स के माध्यम से डेस्कटॉप तक पहुंच प्राप्त करके, कीबोर्ड और माउस क्रियाओं का उपयोग कर कार्य पूरा करती है, जो उपयोगकर्ताओं को बिना API इंटरफेस के स्वतः कार्य किए जाने की सुविधा प्रदान करती है। एक अध्ययन में सिंगापुर द्वारा

क्या आपको वह ‘चित्र-से-शब्द’ जादुई GPT-4V याद है? यह चित्र की सामग्री को समझ सकता है और चित्र के आधार पर कार्य कर सकता है, यह सच में आलसी लोगों के लिए वरदान है! लेकिन इसका एक गंभीर कमजोर बिंदु है: इसकी निगाहें ठीक नहीं हैं! कल्पना कीजिए, आप GPT-4V से एक बटन पर क्लिक करने के लिए कहते हैं, लेकिन यह 'स्क्रीन का अंधा' की तरह इधर-उधर क्लिक करता है, क्या यह बहुत परेशान करने वाला है? आज हम आपको एक ऐसा जादुई उपकरण पेश करेंगे जो GPT-4V की नजर मजबूत कर देगा - OmniParser! यह माइक्रोसॉफ्ट द्वारा लॉन्च किया गया एक नया मॉडल है, जो ग्राफिकल यूजर इंटरफेस (GUI) में स्वचालित इंटरएक्शन को हल करने के लिए बनाया गया है।