自从 Anthropic 于十月推出 Claude 的 “计算机使用” 功能后，AI 智能体的能力引起了广泛关注。这一功能使得 Claude 成为首个能够通过与人类相同的图形用户界面 （GUI） 进行交互的前沿模型。Claude 通过访问桌面屏幕截图，并通过键盘和鼠标操作来完成任务，这为用户提供了一种无需 API 接口就能自动化操作的便利方式。在一项由新加坡国立大学 Show Lab 进行的研究中，研究人员对 Claude 进行了多项任务的测试，包括网络搜索、工作流程完成、办公室生产力和视频游戏等。这些任务考察了 Claude

还记得那个号称“看图说话”神器GPT-4V吗?它能理解图片内容，还能根据图片执行任务，简直是懒人福音!但它有个致命弱点:眼神不太好!想象一下，你让GPT-4V帮你点个按钮，它却像个“屏幕瞎子”一样，到处乱点，是不是很抓狂?今天就给大家介绍一个能让GPT-4V眼神变好的神器——OmniParser!这是微软发布的全新模型，旨在解决图形用户界面（GUI）自动交互的难题。OmniParser是干啥的?简单来说，OmniParser就是个“屏幕翻译官”，它能把屏幕截图解析成GPT-4V能看懂的“结构化语言”。OmniParser结合了