在专业环境中，图形用户界面（GUI）代理面临着三大关键挑战。首先，专业应用程序的复杂性远高于一般软件，要求对复杂布局有深入理解;其次，专业工具通常具备更高的分辨率，导致目标尺寸较小，从而降低了定位准确性;最后，工作流程往往依赖于额外工具和文档，增加了操作的复杂性。这些挑战凸显了开发更先进的基准和解决方案以提升 GUI 代理在这些严苛场景中的性能的必要性。目前的 GUI 定位模型和基准无法满足专业环境的要求。例如，ScreenSpot 等工具设计主要用于低分辨率任务

自从 Anthropic 于十月推出 Claude 的 “计算机使用” 功能后，AI 智能体的能力引起了广泛关注。这一功能使得 Claude 成为首个能够通过与人类相同的图形用户界面 （GUI） 进行交互的前沿模型。Claude 通过访问桌面屏幕截图，并通过键盘和鼠标操作来完成任务，这为用户提供了一种无需 API 接口就能自动化操作的便利方式。在一项由新加坡国立大学 Show Lab 进行的研究中，研究人员对 Claude 进行了多项任务的测试，包括网络搜索、工作流程完成、办公室生产力和视频游戏等。这些任务考察了 Claude

还记得那个号称“看图说话”神器GPT-4V吗?它能理解图片内容，还能根据图片执行任务，简直是懒人福音!但它有个致命弱点:眼神不太好!想象一下，你让GPT-4V帮你点个按钮，它却像个“屏幕瞎子”一样，到处乱点，是不是很抓狂?今天就给大家介绍一个能让GPT-4V眼神变好的神器——OmniParser!这是微软发布的全新模型，旨在解决图形用户界面（GUI）自动交互的难题。OmniParser是干啥的?简单来说，OmniParser就是个“屏幕翻译官”，它能把屏幕截图解析成GPT-4V能看懂的“结构化语言”。OmniParser结合了